• 网络爬虫(2)-Scrapy框架介绍


    1.Scrapy框架介绍

    Scrapy是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰,榄块之间的榈合程度低,可扩展性极强,可以灵活完成各种需求。

    • Engine:引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。

    • Item:项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象。

    • Scheduler:调度器,接受引擎发过来的请求并将其加入队列中, 在引擎再次请求的时候将请求提供给引擎。

    • Downloader:下载器,下载网页内容,并将网页内容返回给蜘蛛。

    • Spiders:蜘蛛,其内定义了爬取的逻辑和网页的解析规则,它主要负责解析响应并生成提取结果和新的请求。

    • Item Pipeline:项目管道,负责处理由蜘蛛从网页中抽取的项目,它的主要任务是清洗、验证和存储数据。

    • Downloader Middlewares:下载器中间件,位于引擎和下载器之间的钩子框架,主要处理引擎与下载器之间的请求及响应。

    • Spider Middlewares:蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,主要处理蜘蛛输入的响应和输出的结果及新的请求。

     

    Scrapy中的数据流由引擎控制,数据流的过程如下:

    1. Engine首先打开一个网站,找到处理该网站的Spider,并向该Spider请求第一个要爬取的URL。

    2. Engine从Spider中获取到第一个要爬取的URL,并通过Scheduler以Request 的形式调度。

    3. Engine向Scheduler请求下一个要爬取的URL。

    4. Scheduler返回下一个要爬取的URL给Engine, Engine将URL通过DownloaderMiddJewares转发给Downloader下载。

    5. 一旦页面下载完毕,Downloader生成该页面的Response,并将其通过DownloaderMiddlewares发送给Engine。

    6. Engine从下载器中接收到l Response,并将其通过SpiderMiddlewares发送给Spider处理。

    7. Spider处理Response,并返回爬取到的Item及新的Request给Engine。

    8. Engine将Spider返回的Item给ItemPipeline,将新的Request给Scheduler。

    9. 重复第 2 步到第 8 步,直到Scheduler中没有更多的Request, Engine关闭该网站,爬取结束。

    Scrapy运作流程:

    • 引擎:Hi!Spider, 你要处理哪一个网站?

    • Spider:老大要我处理xxxx.com。

    • 引擎:你把第一个需要处理的URL给我吧。

    • Spider:给你,第一个URL是xxxxxxx.com。

    • 引擎:Hi!调度器,我这有request请求你帮我排序入队一下。

    • 调度器:好的,正在处理你等一下。

    • 引擎:Hi!调度器,把你处理好的request请求给我。

    • 调度器:给你,这是我处理好的request

    • 引擎:Hi!下载器,你按照老大的下载中间件的设置帮我下载一下这个request请求

    • 下载器:好的!给你,这是下载好的东西。(如果失败:sorry,这个request下载失败了。然后引擎告诉调度器,这个request下载失败了,你记录一下,我们待会儿再下载)

    • 引擎:Hi!Spider,这是下载好的东西,并且已经按照老大的下载中间件处理过了,你自己处理一下(注意!这儿responses默认是交给def parse()这个函数处理的)

    • Spider:(处理完毕数据之后对于需要跟进的URL),Hi!引擎,我这里有两个结果,这个是我需要跟进的URL,还有这个是我获取到的Item数据。

    • 引擎:Hi !管道 我这儿有个item你帮我处理一下!调度器!这是需要跟进URL你帮我处理下。然后从第四步开始循环,直到获取完老大需要全部信息。

    • 管道``调度器:好的,现在就做!

    • 注意!只有当调度器中不存在任何request了,整个程序才会停止,(也就是说,对于下载失败的URL,Scrapy也会重新下载。)

    Scrapy爬虫共需要4步:

    • 新建项目 (scrapy startproject xxx):新建一个新的爬虫项目

    • 明确目标 (编写items.py):明确你想要抓取的目标

    • 制作爬虫 (spiders/xxspider.py):制作爬虫开始爬取网页

    • 存储内容 (pipelines.py):设计管道存储爬取内容

    2.Scrapy框架安装

    • a. pip3 install wheel
    • b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    • c. 进入下载目录,执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
    • d. pip3 install pywin32
    • e. pip3 install scrapy

    3.Scrapy框架基础使用

    1)创建项目

    创建命令:scrapy startproject 项目名称

    项目结构

    project_name/
       scrapy.cfg:
       project_name/
           __init__.py
           items.py
           pipelines.py
           settings.py
           spiders/
               __init__.py
    
    scrapy.cfg   项目的主配置信息。(真正爬虫相关的配置信息在settings.py文件中)
    items.py     设置数据存储模板,用于结构化数据,如:Django的Model
    pipelines    数据持久化处理
    settings.py  配置文件,如:递归的层数、并发数,延迟下载等
    spiders      爬虫目录,如:创建文件,编写爬虫解析规则

    2)创建爬虫程序

    cd project_name(进入项目目录)
    
    scrapy genspider 应用名称 爬取网页的起始url (例如:scrapy genspider qiubai www.qiushibaike.com)
    

    3)编写爬虫程序

    # -*- coding: utf-8 -*-
    import scrapy
    
    class QiubaiSpider(scrapy.Spider):
        name = 'qiubai' #应用名称
        #允许爬取的域名(如果遇到非该域名的url则爬取不到数据)
        allowed_domains = ['https://www.qiushibaike.com/']
        #起始爬取的url
        start_urls = ['https://www.qiushibaike.com/']
    
         #访问起始URL并获取结果后的回调函数,该函数的response参数就是向起始的url发送请求后,获取的响应对象.该函数返回值必须为可迭代对象或者NUll 
         def parse(self, response):
            print(response.text) #获取字符串类型的响应内容
            print(response.body)#获取字节类型的相应内容
    

    4)设置修改settings.py配置文件相关配置:

    19行:USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' #伪装请求载体身份
    
    22行:ROBOTSTXT_OBEY = False  #可以忽略或者不遵守robots协议
    

    4.爬虫案例(糗事百科)

    目标:爬取糗事百科首页中段子的内容和标题

    # -*- coding: utf-8 -*-
    import scrapy
    
    class QiubaiSpider(scrapy.Spider):
        name = 'qiubai'
        allowed_domains = ['https://www.qiushibaike.com/']
        start_urls = ['https://www.qiushibaike.com/']
    
        def parse(self, response):
            #xpath为response中的方法,可以将xpath表达式直接作用于该函数中
            odiv = response.xpath('//div[@id="content-left"]/div')
            content_list = [] #用于存储解析到的数据
            for div in odiv:
                #xpath函数返回的为列表,列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中,需要调用extract()函数将解析的内容从Selecor中取出。
                author = div.xpath('.//div[@class="author clearfix"]/a/h2/text()')[0].extract()
                content=div.xpath('.//div[@class="content"]/span/text()')[0].extract()
    
                #将解析到的内容封装到字典中
                dic={
                    '作者':author,
                    '内容':content
                }
                #将数据存储到content_list这个列表中
                content_list.append(dic)
    
            return content_list
    

     

    参考:https://www.cnblogs.com/bobo-zhang/p/9661385.html

     
  • 相关阅读:
    关于Spring的69个面试问答——终极列表
    阿里内部分享:我们是如何?深度定制高性能MySQL的
    转载:SqlServer数据库性能优化详解
    SQL Server 中WITH (NOLOCK)浅析
    使用druid连接池带来的坑testOnBorrow=false
    opencms9.0安装
    POJ 1201-Intervals(差分约束系统)
    SQL Server 为代码减负之存储过程
    XMPP系列(四)---发送和接收文字消息,获取历史消息功能
    【POJ 2482】 Stars in Your Window(线段树+离散化+扫描线)
  • 原文地址:https://www.cnblogs.com/Iceredtea/p/11107890.html
Copyright © 2020-2023  润新知