python 爬poj.org的题目

主要是正则表达式不熟练，基础知识不扎实，函数也不怎么会用，下次再深入了解这3个函数吧。

主要是一个翻页的功能，其实，就是通过一个url替换一下数字，然后得到一个新的url，再找这个新的链接的信息。

#-*-coding:utf8-*-

import requests
import re
import sys
reload(sys)
sys.setdefaultencoding("utf-8")

class spider(object):
    def __init__(self):
        print "开始爬虫"

    def getsource(self,url):
        html = requests.get(url)
        return html.text

    def changepage(self,url,total_page):
        now_page = 1
        page_group = []

        for i in range(now_page,total_page+1):
            link = re.sub('(d+)','%s'%i,url,re.S)
            page_group.append(link)

        return page_group


if __name__ =='__main__':

    problem = []
    url = 'http://poj.org/problemlist?volume=1'


    pojspider = spider()
    all_link = pojspider.changepage(url,10)

    for link in all_link:
        print link
        htm = pojspider.getsource(link)

        problem = re.findall('href=problem?(.*?)</a>',htm,re.S)

        for i in problem:
            if i[0]=='?':
                print i
                f = open('info.txt','a')
                f.writelines(i+'
')
                f.close()