Urllib库之解析链接
Urllib库里有一个parse这个模块，定义了处理URL的标准接口，实现 URL 各部分的抽取，合并以及链接转换。它支持如下协议的 URL 处理：file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、shttp、 sip、sips、snews、svn、svn+ssh、telnet、wais。
urlparse()
from urllib.parse import urlparse
result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
print(type(result), result)
urlparse的函数格式为:urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)
输出的结果为:
<class 'urllib.parse.ParseResult'>
ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')
返回的结果将我们提供的链接http://www.baidu.com/index.html;user?id=5#comment拆分成了6部分：scheme、netloc、path、params、query、fragment。所以我们可以得知一般的标准的链接格式:scheme://netloc/path;parameters?query#fragment
urlunparse()
接收的参数必须是一般url能拆分的6部分(长度必须为6，否则会抛出参数数量不足的问题)。这个函数的意思就是将拆分的6部分结合在一起成为一个完整的url。
urlsplit()
和 urlparse() 方法非常相似，只不过它不会单独解析 parameters 这一部分，只返回五个结果，即 parameters 会合并到 path中。
urlunsplit()
与 urlunparse() 类似，也是将链接的各个部分组合成完整链接的方法，传入的也是一个可迭代对象，例如列表、元组等等，唯一的区别是，长度必须为 5。
urljoin()
uelunparse()与urlunsplit()方法都是限定了参数的链接合并，但其实我们可以利用urljoin()，这也是爬虫中最常用的方式。首先定义一个base_url，再定义一个新的参数作为完整链接的剩余部分。base_url 提供了三项内容，scheme、netloc、path，如果这三项在新的链接里面不存在，那么就予以补充，如果新的链接存在，那么就使用新的链接的部分。base_url 中的 parameters、query、fragments 是不起作用的。举个例子base_url=‘https://www.baidu.com’,如果新的参数为'？q=hh'，那么urljoin()之后就是‘https://www.baidu.com？q=hh’。如果新的参数为一个链接形式'www.baidu.com?category=2#comment'，那么最后形成的连接形式就为新的链接而忽略了base_url。
urlencode()
个常用的 urlencode() 方法，它在构造 GET 请求参数的时候非常有用。
from urllib.parse import urlencode
params = {
'name': 'germey',
'age': 22
}
base_url = 'http://www.baidu.com?'
url = base_url + urlencode(params)
print(url)
首先声明了一个字典，将参数表示出来，然后调用 urlencode() 方法将其序列化为 URL 标准 GET 请求参数。
得到的结果为:
http://www.baidu.com?name=germey&age=22
parse_qs()
有了序列化必然就有反序列化，如果我们有一串 GET 请求参数，我们利用 parse_qs() 方法就可以将它转回字典
parse_qsl()
与parse_qs()的功能是类似的，只不过是将参数转化为元组组成的列表。
quote()
quote() 方法可以将内容转化为 URL 编码的格式，有时候 URL 中带有中文参数的时候可能导致乱码的问题，所以我们可以用这个方法将中文字符转化为 URL 编码:。注意观察网址的时候会发现，有些网站之后会有很长一串的字母符号数字混合组成的字符串，这有可能是加密后的编码，也有可能是URL编码的转换，举个例子:
from urllib.parse import quote
keyword = '壁纸'
url = 'https://www.baidu.com/s?wd=' + quote(keyword)
print(url)
得出的结果为:
https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8
unquote()
可以进行URL解码。