python简易爬虫来实现自动图片下载

　　菜鸟新人刚刚入住博客园，先发个之前写的简易爬虫的实现吧，水平有限请轻喷。

　　估计利用python实现爬虫的程序网上已经有太多了，不过新人用来练手学习python确实是个不错的选择。本人借鉴网上的部分实现加以改造实现网页图片地址提取和下载。首先找到你感兴趣的网页，以bbs论坛为例，查看网页的源代码发现图片下载的链接地址类似如下：

<p class="imgtitle">
<a href="attachment.php?aid=48812&amp;k=176431dd98231d60e6614082ac2ce5b9&amp;t=1387945675&amp;fid=4&amp;nothumb=yes&amp;sid=4398hG%2BmnnlYG4UAc6QgsughqDa2Svrm7MIu8tShB1s%2F3QI" onmouseover="showMenu(this.id,false,2)" id="aid48812" class="bold" target="_blank">img-fa6533d1b03dee194f0636a69eea5c64.jpg</a>

　　所以找到了属性href值就可以解析出我们的下载地址了（要加入当前url前缀才是绝对地址呦）。用python写个处理网页的函数可以这样

def getImg(html,page):
    reg = r'attachment.php?.+" '
    imgre = re.compile(reg)
    imglist = imgre.findall(html)
    x = 0
    import os
    path = "d:\picture\"
    title = "%s\" %page 
    new_path = os.path.join(path, title)
    if not os.path.isdir(new_path):
        os.makedirs(new_path)
    
    for imgurl in imglist:
        imgurl=imgurl[:imgurl.find('"')]
        imgurl=imgurl.rstrip('"')
        print imgurl
        imgurl="http://xxxxxx/"+imgurl
        f = urllib2.urlopen(imgurl)
        with open(new_path+"%s.gif" % x, "wb") as code:
            code.write(f.read())
            x = x + 1  

以上用的是最简单的正则匹配，将解析后的图片下载保存到D盘picture目录。
 有时候论坛是要登录的，所以处理模拟登录这块根据你所处理的网站会稍许不同，实现模拟登陆功能大部分是提交登陆表单。这里就要用到python发送登陆表单请求消息了，利用httpfox插件获取登陆的post信息，

ef login(weburl,username,password,page):
    cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
    opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
    urllib2.install_opener(opener)
    postdata=urllib.urlencode({ 
                           'loginfield':'username',
                           'formhash':gethash(weburl),    
                            'password':password,
                            'username':username,   
                            'questionid':0, 
                            'answer':'',
                            'loginsubmit':'true'})
    postdata=postdata.encode(encoding='UTF8') 
    header = {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)'}
    posturl=weburl
    req = urllib2.Request(posturl,postdata)
    result = urllib2.urlopen(req).read()
    Url="http://xxxxxxxxxx/viewthread.php?tid=14943&extra=page%3D1&page=" 
    Url=Url+("%s" % page)
    result=getHtml(Url);
    return result

到这边都是比较简单实现的，稍微麻烦点的是请求表单中postdata中需要获取随机的hash值，因此首先要解析出你登陆界面中的那个formhash，这个用re模块简单解析处理一下就ok了

def gethash(url):
    page = urllib2.urlopen(url)
    html = page.read()
    reg = r'name="formhash" value=".+"'
    hashre = re.compile(reg)
    hashvalue=hashre.findall(html)
    pos=(hashvalue[0]).index('value=')
    hash=(hashvalue[0])[pos+6:]
    print hash.strip('"')
    return hash.strip('"')

,以上就是用到的大部分函数了，当然解析网页还有更多的好用的模块比如beautifulsoup等等，简单研究一下应该就能实现一个简易的爬虫程序了。

第一次在园子写东西，写的比较乱，以后改进。接下来准备介绍一下如何用python实现一个RSS阅读器。