Scrapy-redis 分布式

0. scrapy-redis爬虫流程

1. scrapy框架是否可以自己实现分布式

• 不可以。原因有二。

　　　　　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器）

　　　　　　其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道）

2. 基于scrapy-redis组件的分布式爬虫

- scrapy-redis组件中为我们封装好了可以被多台机器共享的调度器和管道，我们可以直接使用并实现分布式数据爬取。

- 实现方式：

1.基于该组件的RedisSpider类

2.基于该组件的RedisCrawlSpider类

3. 分布式实现流程：上述两种不同方式的分布式实现流程是统一的

- 3.1 下载scrapy-redis组件：pip install scrapy-redis

- 3.2 redis配置文件的配置：

 - 注释该行：bind 127.0.0.1，表示可以让其他ip访问redis
 ​
 - 将yes该为no：protected-mode no，表示可以让其他ip操作redis

3.3 修改爬虫文件中的相关代码：

- 将爬虫类的父类修改成基于RedisSpider或者RedisCrawlSpider。注意：如果原始爬虫文件是基于Spider的，则应该将父类修改成RedisSpider，如果原始爬虫文件是基于CrawlSpider的，则应该将其父类修改成RedisCrawlSpider。

- 注释或者删除start_urls列表，切加入redis_key属性，属性值为scrpy-redis组件中调度器队列的名称

3.4 在配置文件中进行相关配置，开启使用scrapy-redis组件中封装好的管道

 ITEM_PIPELINES = {
     'scrapy_redis.pipelines.RedisPipeline': 400
 }
img

3.5 在配置文件中进行相关配置，开启使用scrapy-redis组件中封装好的调度器

 # 使用scrapy-redis组件的去重队列
 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
 # 使用scrapy-redis组件自己的调度器
 SCHEDULER = "scrapy_redis.scheduler.Scheduler"
 # 是否允许暂停
 SCHEDULER_PERSIST = True

3.6 在配置文件中进行爬虫程序链接redis的配置：

 REDIS_HOST = 'redis服务的ip地址'
 REDIS_PORT = 6379
 REDIS_ENCODING = ‘utf-8’
 REDIS_PARAMS = {‘password’:’123456’}

3.7 开启redis服务器：redis-server 配置文件

3.8 开启redis客户端：redis-cli

3.9 运行爬虫文件：scrapy runspider SpiderFile

3.10 向调度器队列中扔入一个起始url（在redis客户端中操作）：lpush redis_key属性值 起始url

4. 实例

• 爬虫文件

 import scrapy
 from scrapy.linkextractors import LinkExtractor
 from scrapy.spiders import CrawlSpider, Rule
 from scrapy_redis.spiders import RedisCrawlSpider
 from redisChoutiPro.items import RedischoutiproItem
 class ChoutiSpider(RedisCrawlSpider):
     name = 'chouti'
     # allowed_domains = ['www.xxx.com']
     # start_urls = ['http://www.xxx.com/']
     
     #  redis_key = 'chouti'可以被共享的调度器的名称
     # 把起始的url放到全局中，让所有的分布式集群去抢，抢到就可以从起始url中解析出子url放到调速器的队列中，保证起始url只会被请求一次
     redis_key = 'chouti'#调度器队列的名称
     rules = (
         Rule(LinkExtractor(allow=r'/all/hot/recent/d+'), callback='parse_item', follow=True),
     )
 ​
     def parse_item(self, response):
         div_list = response.xpath('//div[@class="item"]')
         for div in div_list:
             title = div.xpath('./div[4]/div[1]/a/text()').extract_first()
             author = div.xpath('./div[4]/div[2]/a[4]/b/text()').extract_first()
             # 实例化对象，给对象封装数据
             item = RedischoutiproItem()
             item['title'] = title
             item['author'] = author
             # 提交到原生的scrapy管道中，并不是共享的管道，需到配置文件中修改
             yield item
 ​

• iterm

 import scrapy
 ​
 ​
 class RedischoutiproItem(scrapy.Item):
     # define the fields for your item here like:
     title = scrapy.Field()
     author = scrapy.Field()

• 管道

 class RedischoutiproPipeline(object):
     def process_item(self, item, spider):
         return item

• setings

 BOT_NAME = 'redisChoutiPro'
 ​
 SPIDER_MODULES = ['redisChoutiPro.spiders']
 NEWSPIDER_MODULE = 'redisChoutiPro.spiders'
 ​

 ROBOTSTXT_OBEY = False
 USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
 
 ​
 ITEM_PIPELINES = {
     'scrapy_redis.pipelines.RedisPipeline': 400
 }
 ​
 # 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
 # 使用scrapy-redis组件自己的调度器
 SCHEDULER = "scrapy_redis.scheduler.Scheduler"
 # 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
 SCHEDULER_PERSIST = True  #数据指纹
 ​
 REDIS_HOST = '127.0.0.1'
 REDIS_PORT = 6379

5. 总结

## 5. 总结

```python
- 为什么原生的scrapy不能实现分布式?
    - 调度器不能被共享
    - 管道无法被共享

- scrapy-redis组件的作用是什么?
    - 提供了可以被共享的调度器和管道

- 分布式爬虫实现流程
1.环境安装:pip install scrapy-redis
2.创建工程
3.创建爬虫文件:RedisCrawlSpider  RedisSpider
    - scrapy genspider -t crawl xxx www.xxx.com
4.对爬虫文件中的相关属性进行修改:
    - 导报:from scrapy_redis.spiders import RedisCrawlSpider
    - 将当前爬虫文件的父类设置成RedisCrawlSpider
    - 将起始url列表替换成redis_key = 'xxx'(调度器队列的名称)
5.在配置文件中进行配置:
    - 使用组件中封装好的可以被共享的管道类:
        ITEM_PIPELINES = {
            'scrapy_redis.pipelines.RedisPipeline': 400
            }
    - 配置调度器(使用组件中封装好的可以被共享的调度器)
        # 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
        DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
        # 使用scrapy-redis组件自己的调度器
        SCHEDULER = "scrapy_redis.scheduler.Scheduler"
        # 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
        SCHEDULER_PERSIST = True

     - 指定存储数据的redis:
        REDIS_HOST = 'redis服务的ip地址'
        REDIS_PORT = 6379

     - 配置redis数据库的配置文件
        - 取消保护模式:protected-mode no
        - bind绑定: #bind 127.0.0.1

     - 启动redis
    开启redis服务器：redis-server 配置文件
    开启redis客户端：redis-cli

6.执行分布式程序
    scrapy runspider xxx.py

7.向调度器队列中仍入一个起始url:
    在redis-cli中执行:
```