urllib的使用
urllib是python内置的HTTP请求库，包含如下四个模块：
request：它是最基本HTTP请求模块，可以用来模拟发送请求，就像在浏览器里输入网址然后按回车一样，只需要传入URL以及额外的参数，就可以模拟实现这个过程了。
error：异常处理模块，如果出现请求错误，可以捕获到这些异常，然后进行重试或其他操作以保证程序不会意外终止。
parse：一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等。
robotparse：主要用来识别网站的robots.txt文件，然后判断哪些往回走哪可以爬，哪些网站不可以爬。
1.request模块
urllib.request 模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器发送请求，同时还有处理授权验证、重定向、Cookies以及其他内容。
# 导入模块
from urllib import request
# 调用urlopen（）方法发送请求
response = request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))
通过简单的两行代码就可以将python官网的源代码抓取下来了，上面得到的response是一个HTTPResponse 类型的对象，通过该对象调用read()、readinto()、getheader(name)、getheaders()、fileno()等方法，以及msg、version、status、reason、debuglevel、closed等属性。下面来详细分析urlopen（）函数的API：
urllib.request.urlopen(url,data=None,[timeout],cafile=None,capath=None,cadefault=False,content=None)
除了url参数以外，其余的参数都是可选的。
data参数：如果要添加该参数，并且如果它是字节流编码格式的内容（bytes类型），则需要通过bytes（）方法转换。另外，如果传递了这个参数，则它的请求方式不再是GET，而是POST请求。
import ulllib.parse import urllib.request data = bytes(urllib.parse.urlencode({'name':'jonas'}),encoding='utf-8') response = urllib.request.urlopen('http://httpbin.org/post',data=data) print(response.read())
这里传递了一个参数name，值是jonas。它需要被转码成bytes类型，其中转转字节流采用了bytes（）方法，该方法的第一个参数需要时str类型，需要用urllib.parse模块的urlencode（）方法来将dict转化为str类型；第二个参数指定编码方式。
timeout参数：用于设置超时时间，单位为秒。如果超出设置的时间还没有得到响应，就会抛出URLError异常。
import urllib.request response = urllib.request.urlopen('http://httpbin.org/get',timeout=1)
如果超过了1秒没有得到响应，程序就会抛出URLError异常，该异常属于urllib.error模块，错误原因是超时。
上面通过urlopen()方法可以实现最基本的请求发起，但这几个简答的参数并不足以构建一个完整的请求，如果请求中需要加入Headers信息，就可以利用更强大的Request类来构建。
import urllib.request request = urllib.request.Request('https://python.org') response = urllib.request.urlopen(request) print(response.read().decode('utf-8'))
可以发现，上面依然是用urlopen（）方法来发送请求，只不过该方法的参数不再是url，而是一个Request对象。
urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)
第一个参数 url 是必须必须的，用于请求的URL。
第二个参数data如果要传，则必须传bytes（）类型，跟上面的一样，如果是字典，可以通过urllib.parse.urlencode()来编码。
第三个参数headers是一个字典，它就是请求头，可以在构造请求时通过headers参数直接构造，也可以通过调用请求实例的add_header（）方法添加。请求头最常用的用法就是通过修改User-Agent来伪装浏览器，默认的User-Agent是Python-urllib，如果不修改该值，则很有可能会被识别为爬虫。
第四个参数origin_req_host指的是请求方的host名称或者IP地址。
第五个参数unverifiable表示这个请求是否是无法验证的，默认是False，意思就是说用户没有足够权限来选择接受这个请求的结果。
第六个参数method是一个字符串，用来指示请求使用的方法。
下面传入多个参数来构建你请求：
from urllib import request,parse url = 'http://httpbin.org/post' headers = { 'User-Agent' : 'Mozilla/4.0(compatible; MSIE 5.5;Windows NT)', 'Host':'httpbin.org' } my_dict = {'name':'jonas'} data = bytes(parse.urlencode(my_dict),encoding='utf-8') req = request.Request(url=url,data=data,headers=headers,method='POST') print(response.read().decode('utf-8'))
在上面构建了请求，成功的伪装成浏览器去发请求拿数据，但是反爬虫的技术不仅仅是检查请求头的User-Agent，还有很多方式，比如，服务器会检测某个IP在单位时间内的请求次数，如果超过了某个值，那么服务器会拒绝服务，返回一些错误信息。所以在时候就需要用到代理技术了（详细在后面介绍）。
在urllib.request模块里有一个BaseHandler类，它是所有其他Handler的父类，它提供了最基本的方法，除此以外还有很多基于这个类的子类：
HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误会怕抛出HTTPError异常。
HTTPRedirectHandler：用于处理重定向
HTTPCookieProcessor：用于处理Cookies
ProxyHandler：用于设置代理，默认代理为空
HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表
HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要认证，那么可以使用它来解决认证问题
除了这些以外，还有一个比较重要的类就是OpernerDirector，称为Opener，上面使用的urlopen（）方法的返回值其实就是一个Opener对象，有些网站在打开时就会弹出提示框，直接提示你输入用户名和密码，验证成功后才能查看页面，如果需要请求这样的页面，就可以通过HTTPBasicAuthHandler来完成了。
from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener from urllib.error import URLError username = 'jonas' password = 123456 url = 'localhost:3000' p = HTTPPasswordMgrWithDefaultRealm() p.add_password(None,url,username,password) auth_handler = HTTPBasicAuthHandler(p) opener = build_opener(auth_handler) try: result = opener.open(url) html = result.read().decode('utf-8') except URLError as e: print(e.reason)
这里首先实例化 HTTPBasicAuthHandler 对象，其参数是 HTTPPasswordMgrWithDefaultRealm 对象，它利用add_password()添加进去用户名和密码，这样就建立了一个处理验证的Handler，接下来就可以利用这个Handler并使用build_opener()方法构建一个Opener，这个Opener在发送请求时就相当于验证成功了，然后利用Opener的open()方法打开链接，就完成验证了，这里获取到的结果就是验证后的页面源码内容。
除了上面的验证以外，在爬虫的时候免不了使用的就是代理技术。
from urllib.error import URLError from urllib.request import ProxyHandler,build_opener proxy_handler = ProxyHandler({ 'http':'http://127.0.0.1:5000', 'https':'https://127.0.0.1:5000' }) opener = build_opener(proxy_handler) try: response = opener.open('https://www.baidu.com') print(response.read().decode('utf-8')) except URLError as e: print(e.reason)
这里使用了ProxyHandler，其参数是一个字典，键名是协议类型，然后利用这个Handler及build_opener()方法构造一个Opener
2.error模块
2.1 URLError
URLError类来自urllib库的error模块，它继承自OSError，是error异常模块的基类，由request模块产生的异常都可以通过捕获这个类类处理。它有一个reason属性，用于返回错误的原因。
from urllib import request,error try: response = request.urlopen('https://www.baidu123.com') except error.URLError as e: print(e.reason)
上面请求了一个不存在的URL，就可以捕获到这个异常。
2.2 HTTPError
它是URLError的子类，专门用于处理HTTP请求错误，它有如下3个属性：
code：返回HTTP状态码
reason：返回错误的原因
headers：返回请求头
3.parse模块
parse模块定义了处理URL的标准接口，例如实现URL各部分的抽取、合并以及连接转换。
3.1 urlparse()
该方法可以实现URL的识别和分段
from urllib.parse import urlparse result = urlparse('http://www.baidu.com/index.html;user?id=5#comment') print(type(result),result)
该方法返回的结果是一个ParseResult对象，它包含6个部分，分别是scheme代表协议、netloc代表域名、path代表访问路径、params代表参数、query代表查询条件和fragment代表锚点
一个标准的连接格式：scheme://netloc/path;params?query#fragment
除了这种最基本的解析方式，该方法还卡伊传其他参数：
urllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)
urlstring：待解析的URL，必须参数
scheme：默认的协议
allow_fragments：是否忽略fragment
3.2 urlunparse()
该方法可以接受一个可迭代对象，但是长度必须是6，如果不足或者过多都会报错。
from urllib import parse data = ['http','www.baidu.com','index.html','user','a=6','comment'] print(parse.urlunparse(data))
这样就实现了URL的构造了
3.3 urlsplit()
该方法和urlparse()非常相似，不同的就是它不再单独解析params这一部分。
3.3 urlunsplit()
与urlunparse()类似，它也是将连接各部分组合成完整连接的方法，传入的参数也是一个可迭代对象，唯一有区别的就是长度必须是5
3.4 urlencode()
该方法常用于构造GET请求的参数，具体用法在上面已经有示例。
3.5 parse_qs()
如果需要处理一串GET请求参数，可以利用该方法进行反序列化。
3.6 quote()
该方法可以将内容转化为URL编码的格式。URL中带有中文参数时，有时可能会导致乱码问题，此时用这个方法可以将中文字符转化为URL编码
from urllib.parse import quote keyword = '壁纸' url = 'https://www.baidu.com/s?wd=' + quote(keyword) print(url)
对应的，还有unquote()方法，用于URL解码
from urllib.parse import unquote url = 'https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%BB' print(unquote(url))