1 Requests模块解析
Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用
Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。
requests 的底层实现其实就是 urllib3
Requests的文档非常完备，中文文档也相当不错。Requests能完全满足当前网络的需求，支持Python 2.6—3.5，而且能在PyPy下完美运行。
开源地址：https://github.com/kennethreitz/requests
中文文档 API：http://docs.python-requests.org/zh_CN/latest/index.html
安装
pip install requests
2 requests之get与post
(1) 基本的GET请求
response = requests.get("http://www.baidu.com/") response = requests.request("get", "http://www.baidu.com/")
(2) 添加headers 和查询参数
如果想添加 headers，可以传入headers参数来增加请求头中的headers信息。如果要将参数放在url中传递，可以利用params参数。
import requests kw = {'wd':'长城'} headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"} # params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode() response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers) # 查看响应内容，response.text 返回的是Unicode格式的数据 print response.text # 查看响应内容，response.content返回的字节流数据 print respones.content # 查看完整url地址 print response.url # 查看响应头部字符编码 print response.encoding # 查看响应码 print response.status_code #输出 ...... 太多省略 ...... 'http://www.baidu.com/s?wd=%E9%95%BF%E5%9F%8E' 'utf-8' 200
使用response.text 时，Requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。
使用response.content 时，返回的是服务器响应数据的原始二进制字节流，可以用来保存图片等二进制文件。
(3) 基本之POST请求
response = requests.post("http://www.baidu.com/", data = data)
(4) 传入data数据
对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用data这个参数.
import requests def youdaoAPI(kw): ''' :param kw: 翻译的内容:return:''' # translate_o 去掉_o 这属于其反爬措施 url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule" response = requests.post(url, data=kw, headers=header) res = response.content tgt = json.loads(res) print(tgt["translateResult"]) if __name__ == '__main__': kw = input("请输入你想翻译的内容：") timet = int(time.time() * 1000) data = { "i": kw, "from": "AUTO", "to": "AUTO", "smartresult": "dict", "client": "fanyideskweb", "salt": timet, "sign": "f66461b42fe9edb6d88230788fb33cfb", "doctype": "json", "version": "2.1", "keyfrom": "fanyi.web", "action ": "FY_BY_REALTIME", "typoResult ": "false", } youdaoAPI(data)
3 json文件数据
(1) json方法
print(response.json()) #因此json数据很好爬取 #输出 {"type":"EN2ZH_CN","errorCode":0,"elapsedTime":2,"translateResult":[[{"src":"i love python","tgt":"我喜欢python"}]],"smartResult":{"type":1,"entries":["","肆文","高德纳"]}} {u'errorCode': 0, u'elapsedTime': 0, u'translateResult': [[{u'src': u'i love python', u'tgt': u'u6211u559cu6b22python'}]], u'smartResult': {u'type': 1, u'entries': [u'', u'u8086u6587', u'u9ad8u5fb7u7eb3']}, u'type': u'EN2ZH_CN'} obj = json.loads() json.dumps(obj,ensure_ascii = False)
(2) 代理设置
如果需要使用代理，你可以通过为任意请求方法提供proxies参数来配置单个请求：
import requests # 根据协议类型，选择不同的代理 proxies = { "http": "http://12.34.56.79:9527", "https": "http://12.34.56.79:9527", } response = requests.get("http://www.baidu.com", proxies = proxies) #添加代理参数 print(response.text) # 带密码代理 httpProxy = {"https": "http://User1:123456@10.3.132.6:808"}
(3) web客户端验证
如果是Web客户端验证，需要添加 auth = (账户名, 密码)
import requests auth=('test', '123456') #用户名与密码 response = requests.get('http://192.168.199.107', auth = auth) print(response.text)
4 cookies与session
(1) cookies
如果一个响应中包含了cookie，那么我们可以利用 cookies参数拿到：
import requests response = requests.get("http://www.baidu.com/") # 7. 返回CookieJar对象: cookiejar = response.cookies # 8. 将CookieJar转为字典： cookiedict = requests.utils.dict_from_cookiejar(cookiejar) print(cookiejar) print(cookiedict)
运行结果：
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]> {'BDORZ': '27315'}
(2) session
在 requests 里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。
会话能让我们在跨请求时候保持某些参数，比如在同一个 Session 实例发出的所有请求之间保持 cookie 。
实现人人网登录
import requests # 1. 创建session对象，可以保存Cookie值 ssion = requests.session() # 2. 处理 headers headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"} # 3. 需要登录的用户名和密码 data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"} # 4. 发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里 ssion.post("http://www.renren.com/PLogin.do", data = data) # 5. ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面 response = ssion.get("http://www.renren.com/410043129/profile") # 6. 打印响应内容 print(response.text) 处理HTTPS请求 SSL证书验证 Requests也可以为HTTPS请求验证SSL证书： #要想检查某个主机的SSL证书，你可以使用 verify 参数（也可以不写） import requests response = requests.get("https://www.baidu.com/", verify=True) # 也可以省略不写 # response = requests.get("https://www.baidu.com/") print r.text
如果SSL证书验证不通过，或者不信任服务器的安全证书，则会报出SSLError，据说 12306 证书是自己做的：
来测试一下：
import requests response = requests.get("https://www.12306.cn/mormhweb/") print response.text #果然: SSLError: ("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",) 如果我们想跳过 12306 的证书验证，把 verify 设置为 False 就可以正常请求了。 import requests response = requests.get("https://www.12306.cn/mormhweb/",verify=False) print response.text
5 正则复习
#单字修饰符 . 匹配任意字符，除了换行符 [] 用来表示一组字符,单独列出：[abc] 匹配 'a'，'b'或'c' d 匹配任意数字，等价于 [0-9]. D 匹配任意非数字 w 匹配字母数字及下划线 W 匹配非字母数字及下划线 s 匹配任意空白字符，等价于 [ f]. S 匹配任意非空字符 #数量修饰符 * 匹配0个或多个的表达式 + 匹配1个或多个的表达式 ? 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式 {m} 前面字符出现m次 {m,} 前面字符出现至少m次 {m,n} 前面字符出现m~n次 #边界修饰符 ^ 以...开始 $ 以...结尾 eg. '^abc' 匹配以abc开头 ‘abc$' 匹配以abc结尾 #分组修饰符 () 匹配括号内的表达式，也表示一个组 1 2 匹配第1、2个分组的内容 #贪婪模式 : 尽可能多的匹配 #模式修饰符 re.S 单行模式 re.M 多行模式 re.I 忽略大小写 #re.complie() compile 函数用于编译正则表达式，生成一个正则表达式Pattern对象 #findall() 在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
6 设置User Agent的方法
1.在创建Request对象的时候，填入headers参数(包含User Agent信息)，这个Headers参数要求为字典；
2.在创建Request对象的时候不添加headers参数，在创建完成之后，使用add_header()的方法，添加headers
#方法一 from urllib import request if __name__ == "__main__": url = 'http://www.csdn.net/' head = {} #写入User Agent信息 head['User-Agent'] = 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19' #创建Request对象 req = request.Request(url, headers=head) #传入创建好的Request对象 response = request.urlopen(req) #读取响应信息并解码 html = response.read().decode('utf-8') #打印信息 print(html) #方法二 from urllib import request if __name__ == "__main__": #以CSDN为例，CSDN不更改User Agent是无法访问的 url = 'http://www.csdn.net/' #创建Request对象 req = request.Request(url) #传入headers req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19') #传入创建好的Request对象 response = request.urlopen(req) #读取响应信息并解码 html = response.read().decode('utf-8') #打印信息 print(html)
7 设置ip代理
(1)调用urlib.request.ProxyHandler()，proxies参数为一个字典。
(2)创建Opener(类似于urlopen，这个代开方式是我们自己定制的)
(3)安装Opener
from urllib import request if __name__ == "__main__": #访问网址 url = 'http://www.whatismyip.com.tw/' #这是代理IP proxy = {'http':'106.46.136.112:808'} #创建ProxyHandler proxy_support = request.ProxyHandler(proxy) #创建Opener opener = request.build_opener(proxy_support) #添加User Angent opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')] #安装OPener request.install_opener(opener) #使用自己安装好的Opener response = request.urlopen(url) #读取相应信息并解码 html = response.read().decode("utf-8") #打印信息 print(html)
更多精彩文章关注微信公众号【python社区营】