糗百新鲜事——爬虫python

这个是学爬虫时的练习。

例子上面的用起来不太爽，就自己稍微改了下，练手用

# -*- coding:utf-8 -*-
# --------------------------------------------
#     程序：【糗百最热】爬虫
#     版本：0.1
#     作者：Silence
#     日期：2014-03-25
#     操作：输入quit退出
#     功能：运行后按Enter键可以浏览今天的糗百热点
# ---------------------------------------------

import urllib
import urllib2
import re
import thread
import time

class HTML_Tool:
    """定义一个工具类来处理页面上的各种标签"""

    # 用 非贪婪模式匹配 	 或者 
 或者 空格 或者 超链接 或者 图片
    bgnCharToNoneRex = re.compile("(	|
| |<a.*?>|<img.*?>)")

    # 用 非贪婪模式 匹配任意的 <>标签
    endCharToNoneRex = re.compile("<.*?>")

    # 用 非贪婪模式 匹配任意的<p>标签
    bgnPartRex = re.compile("<p.*?>")
    charToNewLineRex = re.compile("(<br/>|</p>|<tr>|<div>|</div>)")
    charToNewTabRex = re.compile("<td>")

    # 将一些html的符号转变为原始符号
    replaceTab = [("<","<"),(">",">"),("&","&"),("&","""),(" "," ")]

    def replace_Char(self,content):
        content = self.bgnCharToNoneRex.sub("",content)
        content = self.bgnPartRex.sub("
     ",content)
        content = self.charToNewLineRex.sub("
",content)
        content = self.charToNewTabRex.sub("	",content)
        content = self.endCharToNoneRex.sub("",content)

        for rt in self.replaceTab:
            content = content.replace(rt[0],rt[1])
        return content

class QiuBai_Model:
    """docstring for QiuBai_Model"""
    def __init__(self):
        self.page = 1
        self.pages = []
        self.myTool = HTML_Tool()
        self.enable = False
        
    def getPage(self,page):
        myurl = "http://m.qiushibaike.com/hot/page/" + page
        
        #糗百现在加了过滤规则，不允许直接抓包了，所以这里伪造为一个浏览器请求
        headers = {
            'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
        }
        req = urllib2.Request(
            url = myurl,
            headers = headers
        )
        myResponse = urllib2.urlopen(req)
        myPage = myResponse.read()
        # python中默认的编码是unicode编码
        # String的encode是把unicode编码转换为其他编码的字符
        # decode是把其他编码字符转换为unicode编码
        unicodePage = myPage.decode("utf-8")

        # 先找出所有包含新鲜事的结构
        # 糗百页面中，所有新鲜事都写在形如<div class="content" title="">
        # 这里使用正则
        myItems = re.findall('<div.*?class="content".*?title="(.*?)">(.*?)</div>',unicodePage,re.S)
        items = []
        for item in myItems:
            # 糗百中一个<div>标题时间;内容</div>
            items.append([item[0].replace("
",""),item[1].replace("
","")])
        return items

    # 加载新的段子
    def loadPage(self):
        # 如果用户没有输入quit就一直运行
        while self.enable:
            # 如果pages数组中的内容小于两个就获取新页面中的段子
            if len(self.pages) < 2:
                try:
                    myPage = self.getPage(str(self.page))
                    self.page += 1
                    self.pages.append(myPage)
                except:
                    print '无法链接糗事百科！'
                else:
                    time.sleep(1)

    def showPage(self,pageNum,page):
        for items in pageNum:
            print u"第%d页"%page, items[0]
            print self.myTool.replace_Char(items[1])


    def start(self):
        self.enable = True
        page = self.page

        print u'正在加载中，请稍后…………'

        # 新启动一个线程，在后台进行加载，并存储
        thread.start_new_thread(self.loadPage,())

        while self.enable:
            if self.pages:
                currentPage = self.pages[0]
                del self.pages[0]

                # 原来每显示一个就得按一次enter，太繁琐了，现在一次显示一页，瞬间高大上有木有
                self.showPage(currentPage,page)
                page += 1
                
                myinput = raw_input('是否继续下一页？请按Enter键
')
                if myinput == "quit":
                    print '您本次观看到第 %d 页，欢迎下次再来！'%page
                    self.enable = False
                    break

if __name__ == '__main__':
    print u"""
--------------------------------------------
     程序：【糗百最热】爬虫
     版本：0.1
     作者：Silence
     日期：2014-03-25
     操作：运行后输入enter，一次可以显示一页，输入quit退出
     功能：就是看糗百最热栏的内容，由于现在还是爬虫爬的文字，所以，没有图片看了
---------------------------------------------
    """
    raw_input('请输入Enter键，精彩的糗百内容即将展示
')
    qiubai = QiuBai_Model()
    qiubai.start()