本程序用于从网页抓取文本，也就是盗墓笔记的文本提取，写得简单，大家莫笑
'''
从盗墓笔记的网站中取得各集具体内容的地址，并从各集体内容网页中提取内容并写入文件中
'''
#-*- encoding: gb2312 -*-
import HTMLParser
import urllib
import sys
class urlParser(HTMLParser.HTMLParser):
def __init__(self):
self.urllist=[]
HTMLParser.HTMLParser.__init__(self)
def handle_starttag(self, tag, attrs):
# 这里重新定义了处理开始标签的函数
if tag == 'a':
# 判断标签<a>的属性
for name,value in attrs:
if name=='href':
self.urllist.append(value)
class DocParser(HTMLParser.HTMLParser):
def __init__(self,filename):
self.readingtitle = 0
self.readingdoc=0
self.record=0
self.fsock = open(filename, 'w')
HTMLParser.HTMLParser.__init__(self)
def __del__(self):
self.fsock.close()
def handle_starttag(self, tag, attrs):
if tag =='div':
self.record+=1
if tag == 'title':
self.readingtitle = 1
if tag == 'p':
self.readingdoc = 1
def handle_data(self,data):
if self.readingtitle: #检查是否取得数据
#通常这是一个慢又差的方法
data=data.encode('utf-8')
self.fsock.write( data)
self.fsock.write( '\n\n')
if self.readingdoc and self.record==11:
if not ('google' in data):
data=data.encode('utf-8')
self.fsock.write( data)
def handle_endtag(self, tag):
if tag == 'title':
self.readingtitle = 0
if tag == 'doc':
self.readingdoc = 0
def readdata(url):
temp=url.split('/')[-1]
fname=temp.split('.')[0]+'.txt'
my = DocParser(fname)
# 传入要分析的数据，是html的。
a=urllib.urlopen(url).read()
a=a.decode('utf-8')
my.feed(a)
if __name__ == '__main__':
url=urlParser()
f=urllib.urlopen('http://www.daomubiji.com/').read()
f=f.decode('utf-8')
url.feed(f)
links=[]
for link in url.urllist:
if link.split('.')[-1]=='html':
links.append(link)
for link in links:
readdata(link)
程序比较简单，就不具体解释了，大部分内容东拼西凑，包括内部的注释也没有改。程序运行也很慢，大约要一个小时才能完成，如果要改进一是改进HTML的解释算法， 二是引进多线程。