Scrapy 爬虫之知乎互联网精华问题

首先新建一个Scrapy项目，如果不知道项目怎么建的，请看前面爬取豆瓣TOP电影那篇文章。

目录结构如下：

因为我只是爬取问题，所以item里面只有一个title项，直接上zhihu_spider.py代码：

# -*- coding: utf-8 -*-
from scrapy.spiders import BaseSpider
from scrapy.selector import HtmlXPathSelector
from zhihu.items import ZhihuItem
import scrapy
import sys
reload(sys)
sys.setdefaultencoding("utf-8") # 保证编码为utf-8

class ZhihuSpider(BaseSpider):
    """docstring for ZhihuSpider"""
    name = "zhihu"
    allowed_domains = ["zhihu.com"]
    start_urls = ["http://www.zhihu.com/topic/19550517/questions?page=" +str(page) for page in range(1,21500)]

    def parse(self, response):
        hax = HtmlXPathSelector(response)
        for seq in hax.xpath('//div/h2'):
            item = ZhihuItem()
            item['title'] = seq.xpath('a/text()').extract()

            yield item

然后从apart.txt文件里面取出这些问题，将这些问题分词，对分出的词计数。

此处用到两个库，一个是redis，一个是jieba分词。其中redis是需要在本地或者服务器上安装redis数据库的，至于redis怎么用，还是去官方文档上查吧。

redis官网http://redis.io/

python中redis-py库:https://github.com/andymccurdy/redis-py

这两个库都不是python自带的，需要自行安装。

# -*- coding: utf-8 -*-

import re
import math
import jieba
import redis

def getwords(doc):
    f = open(doc,'r')
    for line in f.readlines():
        # print line
        words = jieba.cut(line)
        for word in words:
            if(r.exists(word)):
                r.incr(word)
            else:
                r.set(word,1)

r = redis.Redis(host='127.0.0.1',port=6379,db=3)
getwords('apart.txt')
最后从redis数据库里面取出分词，排序：

# -*- coding: utf-8 -*-

import redis

r = redis.Redis('127.0.0.1', 6379, db=3)
print "size:",r.dbsize()

keys = r.keys()
fc={}
for key in keys:
    value = int(r.get(key))
    if value <= 3000 and value>=100:
        fc[key]=value

dic = sorted(fc.iteritems(),key = lambda fc:fc[1],reverse=True)
for item in dic:
    print item[0],item[1]

来看看最终结果（部分）：

​