• (八)分布式爬取58同城二手房信息


    - 实现流程
      - 创建一个工程
      - 创建一个基于CrawlSpider的爬虫文件
      - 修改当前的爬虫文件:
        - 导包:from scrapy_redis.spiders import RedisCrawlSpider
        - 将start_urls和allowed_domains进行注释
        - 添加一个新属性:redis_key = 'sun' 可以被共享的调度器队列的名称
        - 编写数据解析相关的操作
        - 将当前爬虫类的父类修改成RedisCrawlSpider
      - 修改配置文件settings
        - 指定使用可以被共享的管道:
          ITEM_PIPELINES = {
          'scrapy_redis.pipelines.RedisPipeline': 400
          }
      - 指定调度器:
        # 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
        DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
        # 使用scrapy-redis组件自己的调度器
        SCHEDULER = "scrapy_redis.scheduler.Scheduler"
        # 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
        SCHEDULER_PERSIST = True
      - 指定redis服务器:
        REDIS_HOST = 'ip'
        REDIS_PORT = 'port'

    - redis相关操作配置:
      - 配置redis的配置文件:
        - linux或者mac:redis.conf
        - windows:redis.windows.conf
        - 代开配置文件修改:
          - 将bind 127.0.0.1进行删除
          - 关闭保护模式:protected-mode yes改为no
      - 结合着配置文件开启redis服务
        - redis-server 配置文件
      - 启动客户端:
        - redis-cli
    - 执行工程:
      - scrapy runspider xxx.py
    - 向调度器的队列中放入一个起始的url:
      - 调度器的队列在redis的客户端中
        - lpush xxx(redis_key即共享的调度器) www.xxx.com
    - 爬取到的数据存储在了redis的proName:items这个数据结构中

    将同一份代码多台电脑同时执行,任意一个客户端将人物放入调度器的队列后,机群共同爬取。

    代码实现

    爬虫文件:house_pro.py

    # -*- coding: utf-8 -*-
    import scrapy
    from scrapy.linkextractors import LinkExtractor
    from scrapy.spiders import CrawlSpider,Rule
    from scrapy_redis.spiders import RedisCrawlSpider
    from house_58.items import House58Item
    
    
    class HouseProSpider(RedisCrawlSpider):
        name = 'house_pro'
        # allowed_domains = ['www.xxx.com']
        # start_urls = ['www.xxx.com']
        redis_key = 'house'
        rules = (
            Rule(LinkExtractor(allow=r'/ershoufang/pn2/?utm_source=market&spm=u-2d2yxv86y3v43nkddh1.BDPCPZ_BT'), callback='parse_item', follow=True),
        )
    
        def parse_item(self, response):
            print('working.....')
            li_list = response.xpath('/html/body/div[5]/div[5]/div[1]/ul/li')
            for li in li_list:
                item = House58Item()
                title = li.xpath('./div[2]/h2/a/text()').extract_first()
                price = li.xpath('./div[3]/p//text()').extract_first()
                item['title'] = title
                item['price'] = price
                print(title,price)
                yield item

    settings.py

    ITEM_PIPELINES = {
        'scrapy_redis.pipelines.RedisPipeline': 400
    }
    # 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    # 使用scrapy-redis组件自己的调度器
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    # 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
    SCHEDULER_PERSIST = True
    
    
    REDIS_HOST = '127.0.0.1'
    REDIS_PORT = 6379

    Redis

    服务端

    客户端

    运行代码 

     

  • 相关阅读:
    if——while表达式详解
    java算法:抽象数据类型ADT
    java算法:FIFO队列
    Android_NetworkInfo以及判断手机是否联网
    java算法:堆栈ADT及实例
    java算法:数据项
    java算法:一流的ADT
    java算法:复合数据结构
    java算法:字符串
    java算法:基于应用ADT例子
  • 原文地址:https://www.cnblogs.com/sxy-blog/p/13223478.html
Copyright © 2020-2023  润新知