二十七 Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP

设置代理ip只需要，自定义一个中间件，重写process_request方法，

request.meta['proxy'] = "http://185.82.203.146:1080"   设置代理IP

中间件，注意将中间件注册到配置文件里去

from adc.daili_ip.sh_yong_ip.sh_yong_ip import sui_ji_hq_ip

from fake_useragent import UserAgent    #导入浏览器用户代理模块

class RequestsUserAgentmiddware(object):                                    #自定义浏览器代理中间件
    #中间件随机更换Requests请求头信息的User-Agent浏览器用户代理
    def __init__(self,crawler):
        super(RequestsUserAgentmiddware, self).__init__()                   #获取上一级父类基类的，__init__方法里的对象封装值
        self.ua = UserAgent()                                               #实例化浏览器用户代理模块类
        self.ua_type = crawler.settings.get('RANDOM_UA_TYPE','random')      #获取settings.py配置文件里的RANDOM_UA_TYPE配置的浏览器类型，如果没有，默认random，随机获取各种浏览器类型

    @classmethod                                                            #函数上面用上装饰符@classmethod，函数里有一个必写形式参数cls用来接收当前类名称
    def from_crawler(cls, crawler):                                         #重载from_crawler方法
        return cls(crawler)                                                 #将crawler爬虫返回给类

    def process_request(self, request, spider):                             #重载process_request方法
        def get_ua():                                                       #自定义函数，返回浏览器代理对象里指定类型的浏览器信息
            return getattr(self.ua, self.ua_type)
        sssf = get_ua()
        print('启用用户代理浏览器信息：{0}'.format(sssf))
        request.headers.setdefault('User-Agent', get_ua())                  #将浏览器代理信息添加到Requests请求


class MyproxiesSpiderMiddleware(object):
    #中间件随机更换IP

    def process_request(self, request, spider):                             #重写process_request方法
        #到数据库随机获取一个IP

        xieyi = request._get_url()                                          #_get_url可以获取到请求URL，来判断是什么协议请求如https
        print(xieyi)
        dai_ip = sui_ji_hq_ip('http')                                       #到数据库随机获取一个代理IP
        request.meta['proxy'] = "http://{0}".format(dai_ip)                 #字符串格式化设置代理IP

        #request.meta['proxy'] = "http://185.82.203.146:1080"   设置代理IP

随机数据库获取IP

#!/usr/bin/env python
# -*- coding:utf8 -*-
import time

import requests

from adc.daili_ip.mysq import shujuku as ORM


def suiji_ip(rst):
    """
    调用此函数随机到数据库获取代理IP返回IP，如果IP不可用会自动删除返回False
    """
    atime = time.localtime(time.time()-240)          #设置获取多少时间以内检测过的IP(单位秒)
    sudu = '00:00:03'                               #设置获取访问速度小于等于多少的IP，单位(时分秒)默认3秒
    dqatime = "{0}-{1}-{2} {3}:{4}:{5}".format(
        atime.tm_year,
        atime.tm_mon,
        atime.tm_mday,
        atime.tm_hour,
        atime.tm_min,
        atime.tm_sec
    )  # 将格式化时间日期，单独取出来拼接成一个完整日期

    try:
        mysq = ORM.session()
        shuju = mysq.query(
            ORM.daili_ip.ip,
            ORM.daili_ip.port,
            ORM.daili_ip.xtype,
            ORM.daili_ip.seshi_ri_qi,
            ORM.daili_ip.connectTimeMs
        ).from_statement(
            "SELECT ip,port,xtype,seshi_ri_qi,connectTimeMs FROM daili_ip WHERE xtype='{0}' AND ce_shi='{1}' AND seshi_ri_qi>='{2}' AND connectTimeMs<='{3}' ORDER BY RAND() LIMIT 1".format(rst, '1', dqatime, sudu)
        ).all()
        mysq.close()
        if shuju:
            print('获取到IP')
        else:
            print('获取IP失败，请检查获取条件')
    except Exception as e:
        print('查询代理IP数据出错')
        return True
    ip = shuju[0][0]
    duan_kou = shuju[0][1]
    print('启用代理IP，数据库获取到IP：{0}'.format(shuju))

    http_url = '{0}://image.baidu.com/'.format(rst)
    proxy_url = '{0}://{1}:{2}'.format(rst, ip, duan_kou)
    headers = {
        'Referer': http_url,
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
    }

    print('启用代理IP，测试网址：{0}'.format(http_url))
    print('启用代理IP，测试头：{0}'.format(proxy_url))
    try:
        proxy_dict = {
            'http': proxy_url
        }
        response = requests.get(http_url, proxies=proxy_dict, headers=headers)
    except Exception as e:
        print('启用代理IP，测速连接失败{0}'.format(e))
        print('启用代理IP，测速连接失败，当前IP不可用，删除当前ip！')
        fanhui = mysq.query(ORM.daili_ip).filter(ORM.daili_ip.ip == ip).delete()  # 删除不可以数据
        mysq.commit()
        mysq.close()
        if fanhui == 1:
            print("成功删除当前IP")
        else:
            print('删除当前IP失败')
        return False
    else:
        code = response.status_code  # 获取状态吗
        sudu = str(response.elapsed)  # 获取响应时间
        if code >= 200 and code < 300:
            atime = time.localtime()
            dqatime = "{0}-{1}-{2} {3}:{4}:{5}".format(
                atime.tm_year,
                atime.tm_mon,
                atime.tm_mday,
                atime.tm_hour,
                atime.tm_min,
                atime.tm_sec
            )  # 将格式化时间日期，单独取出来拼接成一个完整日期

            print('启用代理IP，测试代理ip--{0}{1}--状态可用--状态码--{2}'.format(ip, duan_kou, code))
            print('启用代理IP，当前IP可以，正在向数据库标记')
            fanhui = mysq.query(ORM.daili_ip).filter(ORM.daili_ip.ip == ip).update({
                "ce_shi": "1",
                "seshi_ri_qi": dqatime,
                "connectTimeMs": sudu
            })
            mysq.commit()
            mysq.close()
            if fanhui == 1:
                print('向数据库成功标记可用IP！')
            else:
                print('向数据库标记可用IP失败！！！')
            print('向爬虫返回IP：{0}:{1}'.format(ip, duan_kou))
            return ip + ':' + duan_kou
        else:
            print('启用代理IP，测试代理ip--{0}{1}--状态不可用--状态码--{2}'.format(ip, duan_kou, code))
            print('返回状态码不可以，正在向数据库删除当前IP')
            fanhui = mysq.query(ORM.daili_ip).filter(ORM.daili_ip.ip == ip).delete()  # 删除不可以数据
            mysq.commit()
            mysq.close()
            if fanhui == 1:
                print('删除当前IP成功')
            else:
                print('删除当前IP失败')
            return False


def sui_ji_hq_ip(rst):
    """
    正式使用：调用此函数，接收一个参数协议，如http
    循环到数据库获取IP，IP如果不可用删除后继续获取，直到ip可以后返回ip
    值循环获取测试30分钟内有效的IP
    """
    n = True
    h = None
    while n:
        youxiao_ip = suiji_ip(rst)
        if youxiao_ip:
            h = youxiao_ip
            n = False
    return h

# print(sui_ji_hq_ip('http'))

数据库模块文件

import sqlalchemy
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index,text,DATETIME,TIME
from sqlalchemy.orm import sessionmaker, relationship
from sqlalchemy import create_engine

import requests
import json
import time
import datetime


#配置数据库引擎信息
ENGINE = create_engine("mysql+pymysql://root:279819@127.0.0.1:3306/cshi?charset=utf8", max_overflow=500, echo=True)

Base = declarative_base()       #创建一个SQLORM基类

class daili_ip(Base):            #ip池设计表
    __tablename__ = 'daili_ip'

    id = Column(Integer, primary_key=True, autoincrement=True)
    ip = Column(String(300), unique=True)       #IP
    port = Column(String(300))                  #端口
    city = Column(String(300))                  #城市
    isp = Column(String(300))                   #运营商
    connectTimeMs = Column(TIME())              #速度
    anonymity = Column(String(300))             #匿名方式
    country = Column(String(300))               #国家
    xtype = Column(String(300))                 #协议
    zhuang_tai_ma = Column(String(300))         #状态码
    ruku_riqi = Column(DATETIME())             #入库日期
    ce_shi = Column(String(300))                #测试状态
    seshi_ri_qi = Column(DATETIME())           #测试日期
    shi_xiao_riqi = Column(DATETIME())         # 失效日期


def init_db():
    Base.metadata.create_all(ENGINE)        #向数据库创建指定表

def drop_db():
    Base.metadata.drop_all(ENGINE)          #向数据库删除指定表

def session():
    cls = sessionmaker(bind=ENGINE)         #创建sessionmaker类,操作表
    return cls()


# drop_db()         #删除表
# init_db()