scrapy框架之CrawlSpider全站自动爬取

全站数据爬取的方式

　　1.通过递归的方式进行深度和广度爬取全站数据，可参考相关博文（全站图片爬取），手动借助scrapy.Request模块发起请求。

　　2.对于一定规则网站的全站数据爬取，可以使用CrawlSpider实现自动爬取。

CrawlSpider是基于Spider的一个子类。和蜘蛛一样，都是scrapy里面的一个爬虫类，但 CrawlSpider是蜘蛛的子类，子类要比父类功能多，它有自己的都有功能------ 提取链接的功能LinkExtractor（链接提取器）。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url列表中网页，而从爬取到的网页中提取出的url进行继续的爬取工作使用CrawlSpider更合适。

项目创建

#创建工程项目：项目名CrawlSpiderPro可自定义
scrapy startproject CrawlSpiderPro
#切换到当前工程目录下
cd  CrawlSpiderPro
#创建爬虫文件，比普通的爬虫文件多了参数“-t crawl”
scrapy genspider -t crawl crawlSpiderTest www.xxx.com
#开启爬虫项目
scrapy crawl crawlSpiderTest

初始化爬虫文件解析　　

class CrawlspidertestSpider(CrawlSpider):
    name = 'crawlSpiderTest'
    allowed_domains = ['www.xxx.com']
    start_urls = ['http://www.xxx.com/']
    #爬虫规则rules指定不同的规则解析器，一个Rule就是一个解析规则，可以定义多个
    rules = (
        #Rule是规则解析器；
        # LinkExtractor是连接提取器，提取符合allow规则的完整的url；
        #callback指定当前规则解析器的回调解析函数；
        #follow指定是否将链接提取器继续作用到链接提取器提取出的链接网页；
        Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        item = {}
        #item['domain_id'] = response.xpath('//input[@id="sid"]/@value').get()
        #item['name'] = response.xpath('//div[@id="name"]').get()
        #item['description'] = response.xpath('//div[@id="description"]').get()
        return item

东莞阳光网(http://wz.sun0769.com/index.php/question/report?page=)全站爬取案例：

　　1.爬虫脚本crawlSpiderTest.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from CrawlSpiderPro.items import CrawlspiderproItem


class CrawlspidertestSpider(CrawlSpider):
    name = 'crawlSpiderTest'
    # allowed_domains = ['www.xxx.com']

    start_urls = ['http://wz.sun0769.com/index.php/question/report?page=']
    #爬虫规则rules指定不同的规则解析器，一个Rule就是一个解析规则，可以定义多个
    rules = (
        #Rule是规则解析器；
        # LinkExtractor是连接提取器，提取符合allow规则的完整的url；
        #callback指定当前规则解析器的回调解析函数；
        #follow指定是否将链接提取器继续作用到链接提取器提取出的链接网页；
        #follow不指定默认False;
        Rule(LinkExtractor(allow=r'page=d+'), callback='parse_item', follow=False),#提取页码
        Rule(LinkExtractor(allow=r'question/d+/d+.shtml'), callback='parse_detail'),#提取详细信息页面
    )

    def parse_item(self, response):
        print(response)
        item = CrawlspiderproItem()
        tr_list=response.xpath('//*[@id="morelist"]/div/table[2]/tbody/tr/td/table/tbody/tr')

        for tr in tr_list:
            item['identifier']=tr.xpath('./td[1]/text()').extract_first()#解析编号
            item['title']=tr.xpath('/td[2]/a[2]/text()').extract_first()#解析标题
            yield item

    def parse_detail(self, response):
        print(12345678765)
        item = CrawlspiderproItem()
        #xpath解析不识别tbody
        item['identifier']=response.xpath('/html/body/div[9]/table[1]/tr/td[2]/span[2]/text()').extract_first().split(':')[-1]
        item['content']="".join(response.xpath('/html/body/div[9]/table[2]//text()').extract())

        yield item

　　2.itmes.py字段属性定义

import scrapy


#也可以定义两个类分别存储，最后在和管道通过编号字段进行汇总对应，然后持久化存储
class CrawlspiderproItem(scrapy.Item):
   
    #编号
    identifier=scrapy.Field()
    #标题
    title=scrapy.Field()
    #内容
    content=scrapy.Field()
    pass

　　3.pipelines.py管道配置

#自定义持久化处理
class CrawlspiderproPipeline(object):
    def process_item(self, item, spider):
        print(item)
        return item

　　4.settings.py配置

#UA伪装
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
#robots协议
ROBOTSTXT_OBEY = False
#日志输出等级
LOG_LEVEL='ERROR'

#开启管道
ITEM_PIPELINES = {
   'CrawlSpiderPro.pipelines.CrawlspiderproPipeline': 300,
}