很多网站会检测某一段时间某个IP的访问次数（通过流量统计，系统日志等）如果访问次数多的不像正常人，他会禁止这个IP的访问，所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：
from urllib import request
# 这个是没有使用代理的
# resp = request.urlopen('http://httpbin.org/ip') # 专门测试HTTP请求的
# print(resp.read().decode('utf-8'))
# 这个是使用代理的 构建一个handler
handler = request.ProxyHandler({'http': '223.241.78.43：8010'})
# 构建一个opener
opener = request.build_opener(handler)
req = request.Request('http://httpin.org/ip')
# 使用opener发送一个请求
resp = opener.open(req)
print(resp.read())
# 常用的代理有：
"""
1，西刺免费代理IP： http://www.xicidaili.com/
2,快代理:http://www.kuaidaili.com/
3,代理云：http://www/dailiyun.com/
"""
"""
proxyhandler 处理器（代理）：
1，代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，在转发给我们的代码
2，http://httpbin.org: 这个网站可以方便的 查看HTTP请求的一些参数， http://httpbin.org/get 会更全
3，在代码中使用代理： 使用urllib.request.ProxyHandler 传入一个代理，这个代理是个字典， 字典的key依赖于代理服务器能够接收的类型，
一般是http或者https,值是ip:port
"""