Crawl(2)

 http://cuiqingcai.com/3179.html

# *-* coding: UTF-8 *-*
import urllib2
import cookielib
import re
import time
import os


####################################
#cookie
cookie = cookielib.CookieJar()
handler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(handler)
#####
def mkdir(path):  
    path = path.strip()  
    # 判断路径是否存在  
    # 存在    True  
    # 不存在  Flase  
    isExists = os.path.exists(path)  
    if not isExists:  
        print u'新建了名字叫做',path,u'的文件夹'  
        # 创建目录操作函数  
        os.makedirs(path)  
        return True  
    else:  
        # 如果目录存在则不创建，并提示目录已经存在  
        print u'名为',path,u'的文件夹已经创建成功'  
        return False
#####
def saveImages(imglist,name):
    print u'共 %s张图片' %len(imglist)
    number = 1  
    for imageURL in imglist:
        fileName = name + "/" + str(number) + ".jpg"  
        # 对于每张图片地址，进行保存  
        try:  
            u = urllib2.urlopen(imageURL, timeout = 10)
            print '1'
            data = u.read()
            print '2'
            f = open(fileName,'wb+')  
            print '3'
            f.write(data)  
            print u'正在保存的一张图片为',fileName  
            f.close()
        except Exception, e:
            print Exception,":",e
        break
        #保存封面，大图一般太大，截图过大，容易超时
        number += 1  
#####
if __name__ == '__main__':
    patter = r'<span id="thread_(d{7})">'
    reg = re.compile(patter)
    for i in range(1, 5):#前5页
        if i%10 == 0: print 'now is %s' %i
        req = urllib2.Request('http://38.103.161.179/forum/forumdisplay.php?fid=230&filter=type&typeid=172&page=%s' %str(i))
        html = unicode(opener.open(req).read(), 'gbk')
        tar = reg.findall(html)
        
        for jpos, j in enumerate(tar):#遍历所有子链接
            req2 = urllib2.Request('http://38.103.161.179/forum/viewthread.php?tid='+j)
            html2 = unicode(opener.open(req2).read(), 'gbk')
            endpos = html2.index(u'附件</h4>')
            stapos = html2.index(u'格式')
            html2 = html2[stapos:endpos]
            #print html2
            patter2 = r'src="(.+?.jpg)"' 
            reg2 = re.compile(patter2)
            tar2 = reg2.findall(html2)
            path = u'图集'+str(i)+u'之图'+str(jpos)
            mkdir(path)
            saveImages(tar2, path)
    exit()

感谢weiyinfu学长指出。

urllib2用requests替代。

解析页面re用BeautifulSoup替代。

scrapy框架。

遇到验证码，用PIL，opencv，pybrain等。

多线程threading，python并行库框架celery。