requests模块
一、介绍
#介绍:使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) #注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求 #安装:pip3 install requests #各种请求方式:常用的就是requests.get()和requests.post() >>> import requests >>> r = requests.get('https://api.github.com/events') >>> r = requests.post('http://httpbin.org/post', data = {'key':'value'}) >>> r = requests.put('http://httpbin.org/put', data = {'key':'value'}) >>> r = requests.delete('http://httpbin.org/delete') >>> r = requests.head('http://httpbin.org/get') >>> r = requests.options('http://httpbin.org/get') #建议在正式学习requests前,先熟悉下HTTP协议 http://www.cnblogs.com/linhaifeng/p/6266327.html
二、基于GET请求
1、基本请求
import requests response=requests.get('http:/www.baidu.com/') print(response.text)
2、带参数的GET请求->params
1 #在请求头内将自己伪装成浏览器,否则百度不会正常返回页面内容 2 import requests 3 response=requests.get('https://www.baidu.com/s?wd=python&pn=1', 4 headers={ 5 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36', 6 }) 7 print(response.text) 8 9 10 #如果查询关键词是中文或者有其他特殊符号,则不得不进行url编码 11 from urllib.parse import urlencode 12 wb = "haiyan海燕" 13 encode_res = urlencode({"k":wb},encoding="utf-8") 14 print(encode_res) #k=haiyan%E6%B5%B7%E7%87%95 15 keywords = encode_res.split("=")[1] #haiyan%E6%B5%B7%E7%87%95 16 url = "https://www.baidu.com/s?wd=%s&pn=1"%(keywords) 17 # url = "https://www.baidu.com/s?"+encode_res 18 print(url) 19 # 然后拼接成url 20 response = requests.get( 21 url, 22 headers = { 23 "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36", 24 } 25 )
1 #上述操作可以用requests模块的一个params参数搞定,本质还是调用urlencode 2 from urllib.parse import urlencode 3 wd='海燕nnn' 4 pn=1 5 6 response=requests.get('https://www.baidu.com/s', 7 params={ 8 'wd':wd, 9 'pn':pn 10 }, 11 headers={ 12 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36', 13 }) 14 res2=response.text 15 16 #验证结果,打开a.html与b.html页面内容一样 17 with open('a.html','w',encoding='utf-8') as f: 18 f.write(res1) 19 with open('b.html', 'w', encoding='utf-8') as f: 20 f.write(res2) 21 22 params参数的使用
3、带参数的GET请求->headers
#通常我们在发送请求时都需要带上请求头,请求头是将自身伪装成浏览器的关键,常见的有用的请求头如下 Host Referer #大型网站通常都会根据该参数判断请求的来源 User-Agent #客户端 Cookie #Cookie信息虽然包含在请求头里,但requests模块有单独的参数来处理他,headers={}内就不要放它了
#添加headers(浏览器会识别请求头,不加可能会被拒绝访问,比如访问https://www.zhihu.com/explore) import requests response=requests.get('https://www.zhihu.com/explore') response.status_code #500 #自己定制headers headers={ 'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36', } respone=requests.get('https://www.zhihu.com/explore', headers=headers) print(respone.status_code) #200
4、带参数的GET请求->cookies
#登录github,然后从浏览器中获取cookies,以后就可以直接拿着cookie登录了,无需输入用户名密码 #用户名:egonlin 邮箱378533872@qq.com 密码lhf@123 import requests Cookies={ 'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc', } response=requests.get('https://github.com/settings/emails', cookies=Cookies) #github对请求头没有什么限制,我们无需定制user-agent,对于其他网站可能还需要定制 print('378533872@qq.com' in response.text) #True
三、基于POST请求
1、介绍
#GET请求 HTTP默认的请求方法就是GET * 没有请求体 * 数据必须在1K之内! * GET请求数据会暴露在浏览器的地址栏中 GET请求常用的操作: 1. 在浏览器的地址栏中直接给出URL,那么就一定是GET请求 2. 点击页面上的超链接也一定是GET请求 3. 提交表单时,表单默认使用GET请求,但可以设置为POST #POST请求 (1). 数据不会出现在地址栏中 (2). 数据的大小没有上限 (3). 有请求体 (4). 请求体中如果存在中文,会使用URL编码! #!!!requests.post()用法与requests.get()完全一致,特殊的是requests.post()有一个data参数,用来存放请求体数据
2、发送post请求,模拟浏览器的登录行为
注意:
1、对于登录来说,应该输错用户名或密码然后分析抓包流程,用脑子想一想,输对了浏览器就跳转了,还分析个毛线,累死你也找不到包
2、要做登录的时候一定记得要把cookie先清除;
3、requests.session():中间的cookie都不用自己分析了,有用的没用的都给放进来了、
4、response.cookie.get_dict() #获取cookie
1 ''' 2 一 目标站点分析 3 浏览器输入https://github.com/login 4 然后输入错误的账号密码,抓包 5 发现登录行为是post提交到:https://github.com/session 6 而且请求头包含cookie 7 而且请求体包含: 8 commit:Sign in 9 utf8:✓ 10 authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ== 11 login:egonlin 12 password:123 13 14 15 二 流程分析 16 先GET:https://github.com/login拿到初始cookie与authenticity_token 17 返回POST:https://github.com/session, 带上初始cookie,带上请求体(authenticity_token,用户名,密码等) 18 最后拿到登录cookie 19 20 ps:如果密码时密文形式,则可以先输错账号,输对密码,然后到浏览器中拿到加密后的密码,github的密码是明文 21 ''' 22 23 import requests 24 import re 25 26 #第一次请求 27 r1=requests.get('https://github.com/login') 28 r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权) 29 authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN 30 31 #第二次请求:带着初始cookie和TOKEN发送POST请求给登录页面,带上账号密码 32 data={ 33 'commit':'Sign in', 34 'utf8':'✓', 35 'authenticity_token':authenticity_token, 36 'login':'317828332@qq.com', 37 'password':'alex3714' 38 } 39 r2=requests.post('https://github.com/session', 40 data=data, 41 cookies=r1_cookie 42 ) 43 44 45 login_cookie=r2.cookies.get_dict() 46 47 48 #第三次请求:以后的登录,拿着login_cookie就可以,比如访问一些个人配置 49 r3=requests.get('https://github.com/settings/emails', 50 cookies=login_cookie) 51 52 print('317828332@qq.com' in r3.text) #True 53 54 自动登录github(自己处理cookie信息)
1 import requests 2 import re 3 4 session=requests.session() 5 #第一次请求 6 r1=session.get('https://github.com/login') 7 authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN 8 9 #第二次请求 10 data={ 11 'commit':'Sign in', 12 'utf8':'✓', 13 'authenticity_token':authenticity_token, 14 'login':'317828332@qq.com', 15 'password':'alex3714' 16 } 17 r2=session.post('https://github.com/session', 18 data=data, 19 ) 20 21 #第三次请求 22 r3=session.get('https://github.com/settings/emails') 23 24 print('317828332@qq.com' in r3.text) #True
登录github小应用
import requests import re #第一次请求 # GET请求 # 请求头 # - 获取token和 # - User-agent # - cookie # 第二次请求 #POST请求 #请求头 # referer # User-agent #请求体 #获取data # 第三次请求,登录成功之后 #- 请求之前自己先登录一下,看一下有没有referer #- 请求新的url,进行其他操作 #- 查看用户名在不在里面 #第一次请求 response1 = requests.get( "https://github.com/login", headers = { "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36", }, ) authenticity_token = re.findall('name="authenticity_token".*?value="(.*?)"',response1.text,re.S) r1_cookies = response1.cookies.get_dict() # print(r1_cookies,"cookie") #获取到的cookie #第二次请求 response2 = requests.post( "https://github.com/session", headers = { "Referer": "https://github.com/", "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36", }, data={ "commit":"Sign in", "utf8":"✓", "authenticity_token":authenticity_token, "login":"haiyanzzz", "password":"xxxx", zhy..azjash1234 }, cookies = r1_cookies ) print(response2.status_code) print(response2.history) #跳转的历史状态码 #第三次请求,登录成功之后,访问其他页面 r2_cookies = response2.cookies.get_dict() #拿上cookie,知道是你登录了,就开始访问页面 response3 = requests.get( "https://github.com/settings/emails", headers = { "Referer": "https://github.com/", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36", }, cookies = r2_cookies, ) print(response3.text) print("haiyanzzz" in response3.text) #True返回True说明就成功了
3、补充
1 requests.post(url='xxxxxxxx', 2 data={'xxx':'yyy'}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed 3 4 #如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值 5 requests.post(url='', 6 data={'':1,}, 7 headers={ 8 'content-type':'application/json' 9 }) 10 11 12 requests.post(url='', 13 json={'':1,}, 14 ) #默认的请求头:application/json
四、响应Response
1、response属性
import requests respone=requests.get('http://www.jianshu.com') # respone属性 print(respone.text) print(respone.content) print(respone.status_code) print(respone.headers) print(respone.cookies) print(respone.cookies.get_dict()) print(respone.cookies.items()) print(respone.url) print(respone.history) print(respone.encoding) #关闭:response.close() from contextlib import closing with closing(requests.get('xxx',stream=True)) as response: for line in response.iter_content(): pass
2、编码问题
#编码问题 import requests response=requests.get('http://www.autohome.com/news') # response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的,而requests的默认编码为ISO-8859-1,如果不设置成gbk则中文乱码 print(response.text)
3、获取二进制数据
import requests response=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1509868306530&di=712e4ef3ab258b3
6e9f4b48e85a81c9d&imgtype=0&src=http%3A%2F%2Fc.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F11385343fbf2b211e1fb58a1c08065380dd78e0c.jpg') with open('a.jpg','wb') as f: f.write(response.content)
stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的
1 #stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的 2 3 import requests 4 5 response=requests.get('https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4', 6 stream=True) 7 8 with open('b.mp4','wb') as f: 9 for line in response.iter_content(): 10 f.write(line)
4、解析json
#解析json import requests response=requests.get('http://httpbin.org/get') import json res1=json.loads(response.text) #太麻烦 res2=response.json() #直接获取json数据 print(res1 == res2) #True
5、Redirection and History
1 By default Requests will perform location redirection for all verbs except HEAD. 2 3 We can use the history property of the Response object to track redirection. 4 5 The Response.history list contains the Response objects that were created in order to complete the request. The list is sorted from the oldest to the most recent response. 6 7 For example, GitHub redirects all HTTP requests to HTTPS: 8 9 >>> r = requests.get('http://github.com') 10 11 >>> r.url 12 'https://github.com/' 13 14 >>> r.status_code 15 16 >>> r.history 17 [<Response [301]>] 18 If you're using GET, OPTIONS, POST, PUT, PATCH or DELETE, you can disable redirection handling with the allow_redirects parameter: 19 20 >>> r = requests.get('http://github.com', allow_redirects=False) 21 22 >>> r.status_code 23 24 >>> r.history 25 [] 26 If you're using HEAD, you can enable redirection as well: 27 28 >>> r = requests.head('http://github.com', allow_redirects=True) 29 30 >>> r.url 31 'https://github.com/' 32 33 >>> r.history 34 [<Response [301]>] 35 36 先看官网的解释
import requests import re #第一次请求 r1=requests.get('https://github.com/login') r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权) authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN #第二次请求:带着初始cookie和TOKEN发送POST请求给登录页面,带上账号密码 data={ 'commit':'Sign in', 'utf8':'✓', 'authenticity_token':authenticity_token, 'login':'317828332@qq.com', 'password':'alex3714' } #测试一:没有指定allow_redirects=False,则响应头中出现Location就跳转到新页面,r2代表新页面的response r2=requests.post('https://github.com/session', data=data, cookies=r1_cookie ) print(r2.status_code) #200 print(r2.url) #看到的是跳转后的页面 print(r2.history) #看到的是跳转前的response print(r2.history[0].text) #看到的是跳转前的response.text #测试二:指定allow_redirects=False,则响应头中即便出现Location也不会跳转到新页面,r2代表的仍然是老页面的response r2=requests.post('https://github.com/session', data=data, cookies=r1_cookie, allow_redirects=False ) print(r2.status_code) #302 print(r2.url) #看到的是跳转前的页面https://github.com/session print(r2.history) #[] 利用github登录后跳转到主页面的例子来验证它
五、高级用法
1、SSL Cert Verification
1 #证书验证(大部分网站都是https) 2 import requests 3 respone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端 4 5 6 #改进1:去掉报错,但是会报警告 7 import requests 8 respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200 9 print(respone.status_code) 10 11 12 #改进2:去掉报错,并且去掉警报信息 13 import requests 14 from requests.packages import urllib3 15 urllib3.disable_warnings() #关闭警告 16 respone=requests.get('https://www.12306.cn',verify=False) 17 print(respone.status_code) 18 19 #改进3:加上证书 20 #很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书 21 #知乎百度等都是可带可不带 22 #有硬性要求的,则必须带,比如对于定向的用户,拿到证书后才有权限访问某个特定网站 23 import requests 24 respone=requests.get('https://www.12306.cn', 25 cert=('/path/server.crt', 26 '/path/key')) 27 print(respone.status_code)
2、使用代理
1 #官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies 2 3 #代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情) 4 import requests 5 proxies={ 6 'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码 7 'http':'http://localhost:9743', 8 'https':'https://localhost:9743', 9 } 10 respone=requests.get('https://www.12306.cn', 11 proxies=proxies) 12 13 print(respone.status_code) 14 15 16 17 #支持socks代理,安装:pip install requests[socks] 18 import requests 19 proxies = { 20 'http': 'socks5://user:pass@host:port', 21 'https': 'socks5://user:pass@host:port' 22 } 23 respone=requests.get('https://www.12306.cn', 24 proxies=proxies) 25 26 print(respone.status_code)
3、超时设置
1 #超时设置 2 #两种超时:float or tuple 3 #timeout=0.1 #代表接收数据的超时时间 4 #timeout=(0.1,0.2)#0.1代表链接超时 0.2代表接收数据的超时时间 5 6 import requests 7 respone=requests.get('https://www.baidu.com', 8 timeout=0.0001)
4、 认证设置
1 #官网链接:http://docs.python-requests.org/en/master/user/authentication/ 2 3 #认证设置:登陆网站是,弹出一个框,要求你输入用户名密码(与alter很类似),此时是无法获取html的 4 # 但本质原理是拼接成请求头发送 5 # r.headers['Authorization'] = _basic_auth_str(self.username, self.password) 6 # 一般的网站都不用默认的加密方式,都是自己写 7 # 那么我们就需要按照网站的加密方式,自己写一个类似于_basic_auth_str的方法 8 # 得到加密字符串后添加到请求头 9 # r.headers['Authorization'] =func('.....') 10 11 #看一看默认的加密方式吧,通常网站都不会用默认的加密设置 12 import requests 13 from requests.auth import HTTPBasicAuth 14 r=requests.get('xxx',auth=HTTPBasicAuth('user','password')) 15 print(r.status_code) 16 17 #HTTPBasicAuth可以简写为如下格式 18 import requests 19 r=requests.get('xxx',auth=('user','password')) 20 print(r.status_code)
5、异常处理
1 #异常处理 2 import requests 3 from requests.exceptions import * #可以查看requests.exceptions获取异常类型 4 5 try: 6 r=requests.get('http://www.baidu.com',timeout=0.00001) 7 except ReadTimeout: 8 print('===:') 9 # except ConnectionError: #网络不通 10 # print('-----') 11 # except Timeout: 12 # print('aaaaa') 13 14 except RequestException: 15 print('Error')
6、上传文件
1 import requests 2 files={'file':open('a.jpg','rb')} 3 respone=requests.post('http://httpbin.org/post',files=files) 4 print(respone.status_code)