代理池针对ip拦截破解

目录

• 代理
  • 代理简述
  • 简单入手
  • 代理池

代理

• 代理概念：代理服务器。
• 作用：接受请求==》请求转发。
• 代理和爬虫之间的关联：
  • 可以使用请求转发的机制使得目的服务器接收到的请求对应ip的一个改变。
• 为什么要使用代理改变请求的ip地址？
  • 爬虫程序在短时间内对指定的服务器发起了一个高频的请求，则请求对应的ip可能会被目的服务器禁止。
• 代理的一些基础知识：
  • 代理的匿名度：
    • 透明代理：目的服务器知道你使用了代理机制并且也知道你的真实IP
    • 匿名代理：知道使用了代理机制，但是不知道你的真实ip
    • 高匿代理：不知道使用了代理，也不知道你的真实ip
  • 代理的类型：
    • http
    • https
• 免费代理ip：
  • 快代理
  • 西祠代理
  • www.goubanjia.com
  • 代理精灵

代理简述

代理服务器:实现请求转发,从而可以实现更换请求的ip地址
    在requests中如何将请求的ip进行更换

代理的匿名度:
    透明:服务器知道你使用了代理并且知道你的真实ip
    匿名:服务器知道你使用了代理,但是不知道你的真实ip
    高匿:服务器不知道你使用了代理,更不知道你的真实ip

代理的类型:
    http:该类型的代理只可以转发http协议的请求
    https:只可以转发https协议的请求

免费代理ip的网站
    快代理
    西祠代理
    goubanjia
    代理精灵(推荐):http://http.zhiliandaili.cn/

在爬虫中遇到ip被禁掉如何处理?
    使用代理
    构建一个代理池
    拨号服务器

简单入手

import requests
url = 'https://www.baidu.com/s?ie=utf-8&wd=ip'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}
page_text = requests.get(url=url,headers=headers,proxies={'https':'112.195.96.115:32092'}).text
with open('./ip.html','w',encoding='utf-8') as fp:
    fp.write(page_text)
    
get/post方法中使用proxies请求代理的设置
proxies={'http':'ip:port'}

代理池

• 对西祠代理发起一个高频的请求，使得本机ip被禁止，然后采用代理池解决代理的反爬
  • url:https://www.xicidaili.com/nn/1
• 代理池的构建：就是一个列表，列表中存储的是字典。每一个字典存储的键值{'http':'ip:port'}

案例

对西祠代理发起一个高频的请求，使得本机ip被禁止，然后采用代理池解决代理的反爬

针对购买的代理 爬取 制作数据结构 成为代理池
all_ips = []#代理池
url = 'http://t.11jsq.com/index.php/api/entry?method=proxyServer.generate_api_url&packid=1&fa=0&fetch_key=&groupid=0&qty=30&time=1&pro=&city=&port=1&format=txt&ss=3&css=&dt=1&specialTxt=3&specialJson=&usertype=2'
page_text = requests.get(url,headers=headers).text
tree = etree.HTML(page_text)
ip_list = tree.xpath('//body//text()')[0].split('
')
for ip in ip_list:
    dic = {
        'https':ip
    }
    all_ips.append(dic)
    
#利用上面生成的代理池 爬取其他网页
from lxml import etree
import random
url = 'https://www.xicidaili.com/nn/%d'
ips = []
for page in range(1,3):
    new_url = format(url%page)
    page_text = requests.get(new_url,headers=headers,proxies=random.choice(all_ips)).text
    tree = etree.HTML(page_text)
    #在xpath表达式中一定不可以出现tbody标签
    tr_list = tree.xpath('//*[@id="ip_list"]//tr')[1:]
    for tr in tr_list:
        ip = tr.xpath('./td[2]/text()')[0]
        ips.append(ip)
print(len(ips))