代理
当我们美好的爬完一个页面之后，喝了一杯茶，决定再爬一次，提升成就感，这时候发现了居然爬不了了！
这是为什么？
因为有些网页他会做了一些反爬措施，你的ip爬取在单位时间内访问了过多次数。所以他就不让你爬了。这种情况我们就可以称之为，你的ip被他的服务器端给封掉了。
那么我们是不是可以通过某种手段来伪装我们的ip，让这个服务器端识别不出来是我们本机的ip，这样是不是就可以无限次数的发起请求了呢？这就是一个有效的反反爬措施。
代理：
就是破解封ip这种反爬机制用的。
什么是代理：
—代理服务器
正常情况下，我们向服务器发送请求，服务器接收到之后会给我们返回数据，代理服务器就相当于是在我们和服务器中间加了一道中转站，我们发送的请求先到代理服务器，然后代理服务器在发送给服务器端，这样服务器端就不知道我们的ip了。
代理的作用：
—突破自身ip访问的限制。
—隐藏自身真是ip。
代理的相关网站：
—快代理
—西祠代理
——www.goubanjia.com
代理ip的类型：
—http：应用到http协议对应的url中
—https：应用到https协议对应的url中
代理ip的匿名度：
—透明：服务器知道该次请求使用了代理，也知道是哪个ip使用了代理
—匿名：知道使用了代理，但不知道是那个ip使用的。
—高匿：不知道使用了代理，更不知道真实的ip
import requests
url='https://www.baidu.com/s?wd=ip'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3730.400 QQBrowser/10.5.3805.400'}
page_text=requests.get(url=url,headers=headers,proxies={'https':'221.178.232.130:8080'}).text
with open('./baidu.html','wt',encoding='utf8')as fw:
fw.write(page_text)
只需要在get里面加上一个关键字参数proxies，然后在里面写上http或者https对应的代理ip，这时候你的代理就生效了，直接访问服务器的ip已经不是你的ip了，是你的代理。