134 scrapy框架详解, 配置文件的设置, 请求传参, 代理池, 中间件的设置

主要内容:

1 scrapy框架的详解:https://blog.csdn.net/qq_37143745/article/details/80996707

　　a : 各部分的功能:

　　　　Spiders(爬虫):它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)
　　　　Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
　　　　Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
　　　　Downloader(下载器)：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理
　　　　ItemPipeline(管道):它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
　　　　Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
　　　　Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间
　　b : 代码执行流程:

　　　　SPIDERS的yeild将request发送给ENGIN
　　　　ENGINE对request不做任何处理发送给SCHEDULER
　　　　SCHEDULER( url调度器)，生成request交给ENGIN
　　　　ENGINE拿到request，通过MIDDLEWARE进行层层过滤发送给DOWNLOADER
　　　　DOWNLOADER在网上获取到response数据之后，又经过MIDDLEWARE进行层层过滤发送给ENGIN
　　　　ENGINE获取到response数据之后，返回给SPIDERS，SPIDERS的parse()方法对获取到的response数据进行处理，解析出items或者requests
　　　　将解析出来的items或者requests发送给ENGIN
　　　　ENGIN获取到items或者requests，将items发送给ITEMPIPELINES，将requests发送给SCHEDULER
2 请求传参(meta):  yield scapy.Request(url=url, callback=self.parse, meta={"item",item})

　　需求: 将不再同一个页面的数据写在一起, 需要用到请求传参

　　代码: 见第六天

3  配置文件的设置:

# 增加并发：
#     默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。
#
# 降低日志级别：
#     在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：LOG_LEVEL = ‘INFO’
#
# 禁止cookie：
#     如果不是真的需要cookie，则在scrapy爬取数据时可以禁止cookie从而减少CPU的使用率，提升爬取效率。在配置文件中编写：COOKIES_ENABLED = False
#
# 禁止重试：
#     对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：RETRY_ENABLED = False
#
# 减少下载超时：
#     如果对一个非常慢的链接进行爬取，减少下载超时可以能让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：DOWNLOAD_TIMEOUT = 10 超时时间为10s

CONCURRENT_REQUESTS = 10
# LOG_LEVEL = 'ERROR'
COOKIES_ENABLED = False
RETRY_ENABLED = False
# DOWNLOAD_TIMEOUT = 5

4 代理池:在中间件中设置

　　用处: 当请求次数过多, ip被禁掉, 或者不想被别人看到自己真实的ip, 

　　代码: 见第六天爬虫