scrapy中间件

一、概述
　　1、中间件的作用
　　  在scrapy运行的整个过程中，对scrapy框架运行的某些步骤做一些适配自己项目的动作：
　　　　例如：scrapy内置的httpErrorMiddleware，可以在http请求出错时做一些处理。
　　2.中间件的使用方法
　　　　配置settings.py

二、中间件的分类

    scrapy的中间件理论上又三种（Scduler Middleware , Spider Middleware,Downloader Middleware),在应用上一般用以下两种：
        1.爬虫中间件Spider Middleware
            主要功能是在爬虫运行过程中进行一些处理
        2.下载器中间件Downloader Middleware
            主要功能在请求到网页后，页面被下载时进行一些处理

三、使用
    1.Spider Middleware 有以下几个函数被管理：
        - process_spider_input接收一个response对象并处理，位置是
        Downloader-->process_spider_input-->Spiders(Downloader和Spiders是scrapy官方结构图中的组件)
        -process_spider_exception spider出现的异常时被调用
        -process_spider_output 当Spider处理response返回result时，该方法被调用
        -process_start_requests 当spider发出请求时，被调用
        位置是Spiders-->process_start_requests-->Scrapy Engine(Scrapy Engine是scrapy官方结构图中的组件)
    
    
    2.Downloader Middleware有以下几个函数被管理
    　　 - process_request request通过下载中间件时，该方法被调用
    　　 - process_response 下载结果经过中间件时被此方法处理
    　　 - process_exception 下载过程中出现异常时被调用
    编写中间件时,需要思考要实现的功能最适合在那个过程处理,就编写哪个方法.
    中间件可以用来处理请求,处理结果或者结合信号协调一些方法的使用等.也可以在原有的爬虫上添加适应项目的其他功能,这一点在扩展中编写也可以达到目的,实际上扩展更加去耦合化,推荐使用扩展.