python——scrapy的三种登录方式，下载中间件（Downloademiddleware）,settings文件

爬虫的自我修养_6

二、下载中间件

通常防止爬虫被反主要有以下几个策略：

• 动态设置User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息）

• 禁用Cookies（也就是不启用cookies middleware，不向Server发送cookies，有些网站通过cookie的使用发现爬虫行为）

  • 可以通过COOKIES_ENABLED 控制 CookiesMiddleware 开启或关闭

• 设置延迟下载（防止访问过于频繁，设置为 2秒 或更高）

• Google Cache 和 Baidu Cache：如果可能的话，使用谷歌/百度等搜索引擎服务器页面缓存获取页面数据。

• 使用IP地址池：VPN和代理IP，现在大部分网站都是根据IP来ban的。

• 使用 Crawlera（专用于爬虫的代理组件），正确配置和设置下载中间件后，项目所有的request都是通过crawlera发出。

• 更多猛击这里

设置下载中间件（Downloader Middlewares）

下载中间件是处于引擎(crawler.engine)和下载器(crawler.engine.download())之间的一层组件，可以有多个下载中间件被加载运行。

1. 当引擎传递请求给下载器的过程中，下载中间件可以对请求进行处理 （例如增加http header信息，增加proxy信息等）；

2. 在下载器完成http请求，传递响应给引擎的过程中， 下载中间件可以对响应进行处理（例如进行gzip的解压等）

要激活下载器中间件组件，将其加入到 DOWNLOADER_MIDDLEWARES 设置中。 该设置是一个字典(dict)，键为中间件类的路径，值为其中间件的顺序(order)。

DOWNLOADER_MIDDLEWARES = {
    'mySpider.middlewares.MyDownloaderMiddleware1': 543,
    'mySpider.middlewares.MyDownloaderMiddleware2': 100,    # 值越小先执行
}

使用方法

1. 创建middlewares.py文件

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import random
import base64

# user-agent池
USER_AGENTS = [
    'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)',
    'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
    'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
    'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
    'Mozilla/5.0 (Linux; U; Android 4.0.3; zh-cn; M032 Build/IML74K) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30',
    'Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13'
]

# 代理池
PROXIES = [
        {"ip_port" :"121.42.140.113:16816", "user_passwd" : "mr_mao_hacker:sffqry9r"},      # 有账号密码的设置方法
        {"ip_prot" :"123.123.123.123:123", "user_passwd" : ""}                                 # 没有的设置方法
]


# 生成随机的User-Agent
class RandomUserAgent(object):
    def process_request(self, request, spider):
        useragent = random.choice(USER_AGENTS)
        #print useragent
        request.headers.setdefault("User-Agent", useragent)     # 替换之前的user-agent

# 选择随机的代理
class RandomProxy(object):
    def process_request(self, request, spider):
        proxy = random.choice(PROXIES)

        if proxy['user_passwd'] is None:
            # 没有代理账户验证的代理使用方式
            request.meta['proxy'] = "http://" + proxy['ip_port']

        else:
            # 对账户密码进行base64编码转换
            base64_userpasswd = base64.b64encode(proxy['user_passwd'])
            # 对应到代理服务器的信令格式里
            request.headers['Proxy-Authorization'] = 'Basic ' + base64_userpasswd

            request.meta['proxy'] = "http://" + proxy['ip_port']

小Tips：猛击这里

为什么HTTP代理要使用base64编码：

HTTP代理的原理很简单，就是通过HTTP协议与代理服务器建立连接，协议信令中包含要连接
到的远程主机的IP和端口号，如果有需要身份验证的话还需要加上授权信息，服务器收到信令
后首先进行身份验证，通过后便与远程主机建立连接，连接成功之后会返回给客户端200，表
示验证通过，就这么简单，下面是具体的信令格式：
CONNECT 59.64.128.198:21 HTTP/1.1
Host: 59.64.128.198:21
Proxy-Authorization: Basic bGV2I1TU5OTIz
User-Agent: OpenFetion

其中Proxy-Authorization是身份验证信息，Basic后面的字符串是用户名和密码组合后进行
base64编码的结果，也就是对username:password进行base64编码。

HTTP/1.0 200 Connection established
OK，客户端收到收面的信令后表示成功建立连接，接下来要发送给远程主机的数据就可以发送
给代理服务器了，代理服务器建立连接后会在根据IP地址和端口号对应的连接放入缓存，收到
信令后再根据IP地址和端口号从缓存中找到对应的连接，将数据通过该连接转发出去。

2、配置settings文件

COOKIES_ENABLED = False		# 除非特殊需要，禁用cookies，防止某些网站根据Cookie来封锁爬虫。

DOWNLOAD_DELAY = 3		# 设置下载延迟

# 最后设置setting.py里的DOWNLOADER_MIDDLEWARES，添加自己编写的下载中间件类。
DOWNLOADER_MIDDLEWARES = {
    #'mySpider.middlewares.MyCustomDownloaderMiddleware': 543,
    'mySpider.middlewares.RandomUserAgent': 1,
    'mySpider.middlewares.ProxyMiddleware': 100
}

三、Settings

Scrapy设置(settings)提供了定制Scrapy组件的方法。可以控制包括核心(core)，插件(extension)，pipeline及spider组件。比如 设置Json Pipeliine、LOG_LEVEL等。官方文档

常用的配置

• BOT_NAME

  • 默认: 'scrapybot'

  • 当您使用 startproject 命令创建项目时其也被自动赋值。

• CONCURRENT_ITEMS

  • 默认: 100

  • Item Processor(即 Item Pipeline) 同时处理(每个response的)item的最大值。

• CONCURRENT_REQUESTS

  • 默认: 16

  • Scrapy downloader 并发请求(concurrent requests)的最大值。

• DEFAULT_REQUEST_HEADERS

  • 默认: 如下

    {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    }
    

    Scrapy HTTP Request使用的默认header。

• DEPTH_LIMIT

  • 默认: 0

  • 爬取网站最大允许的深度(depth)值。如果为0，则没有限制。

• DOWNLOAD_DELAY

  • 默认: 0

  • 下载器在下载同一个网站下一个页面前需要等待的时间。该选项可以用来限制爬取速度， 减轻服务器压力。同时也支持小数:

  DOWNLOAD_DELAY = 0.25 # 250 ms of delay

  • 默认情况下，Scrapy在两个请求间不等待一个固定的值， 而是使用0.5到1.5之间的一个随机值 * DOWNLOAD_DELAY 的结果作为等待间隔。

• DOWNLOAD_TIMEOUT

  • 默认: 180

  • 下载器超时时间(单位: 秒)。

• ITEM_PIPELINES

  • 默认: {}

  • 保存项目中启用的pipeline及其顺序的字典。该字典默认为空，值(value)任意，不过值(value)习惯设置在0-1000范围内，值越小优先级越高。

    ITEM_PIPELINES = {
    'mySpider.pipelines.SomethingPipeline': 300,
    'mySpider.pipelines.ItcastJsonPipeline': 800,
    }
    

• LOG_ENABLED

  • 默认: True

  • 是否启用logging。

• LOG_ENCODING

  • 默认: 'utf-8'

  • logging使用的编码。

• LOG_LEVEL

  • 默认: 'DEBUG'

  • log的最低级别。可选的级别有: CRITICAL、 ERROR、WARNING、INFO、DEBUG 。

• USER_AGENT

  • 默认: "Scrapy/VERSION (+http://scrapy.org)"

  • 爬取的默认User-Agent，除非被覆盖。

• PROXIES： 代理设置

  • 示例：

    PROXIES = [
      {'ip_port': '111.11.228.75:80', 'password': ''},
      {'ip_port': '120.198.243.22:80', 'password': ''},
      {'ip_port': '111.8.60.9:8123', 'password': ''},
      {'ip_port': '101.71.27.120:80', 'password': ''},
      {'ip_port': '122.96.59.104:80', 'password': ''},
      {'ip_port': '122.224.249.122:8088', 'password':''},
    ]
    

• COOKIES_ENABLED = False

  • 禁用Cookies