一、Requests发送HTTP请求
案例:选定某个测试的URL,利用requests库内置的不同的方法来发送不同类型(GET/POST/PUT/DELETE)的http请求,并输出响应的状态码
请求方式 |
请求URL |
GET |
http://httpbin.org/get |
POST |
http://httpbin.org/post |
PUT |
http://httpbin.org/put |
DELETE |
http://httpbin.org/delete |
request basic.py
# 导入requests库
import requests
# 定义base_url作为基础被测URL
base_url = 'http://httpbin.org'
# 发送get请求;打印响应状态码
r = requests.get(base_url+'/get')
print(r.status_code)
# 发送POST请求;打印响应状态码
r = requests.post(base_url+'/post')
print(r.status_code)
# 发送PUT请求;打印响应状态码
r = requests.put(base_url+'/put')
print(r.status_code)
# 发送DELETE请求,打印响应状态码
r = requests.delete(base_url+'/delete')
print(r.status_code)
执行结果:
发送4种不同请求,对应响应状态码都是200,请求发送OK
二、Requests参数传递
1.传递URL参数
案例:利用Requests库,在GET请求中使用查询字符串(Query String)传递参数。
# 导入requests库
import requests
# 定义base_url作为基础被测URL
base_url = 'http://httpbin.org'
# 定义请求所需的参数,参数之间以英文逗号隔开
param_data = {'uname':'Test00001','pwd':'123456'}
# 发送GET请求,格式如:requests.get(url,params)
r = requests.get(base_url+'/get',params=param_data)
print(r.url) # 输出请求的url
print(r.status_code) #输出响应的状态码
执行结果:
2.传递Body参数
案例:利用Requests库,在POST请求的请求体(Request Body)中传递参数
import requests
base_url = 'http://httpbin.org'
form_data = {'uname':'Test00002','pwd':'123456'}
# 发送POST请求,格式如:requests.post(url,data)
r = requests.post(base_url+'/post',data=form_data)
print(r.text) # 返回响应内容
执行结果:
三、Requests请求头设置
1.设置Request Headers
案例:利用Requests库,为POST请求添加HTTP Headers,此时需要传递一个字典类型的数据给headers参数
import requests
base_url = 'http://httpbin.org'
form_data = {'uname':'Test00003','pwd':'123456'}
header = {'user-agent':'Mozilla/5.0'}
r = requests.post(base_url+'/post',data=form_data,headers=header)
print(r.text) #以文本形式返回响应内容
执行结果:
print(r.text)代表以文本形式返回响应内容
若以上代码修改为print(r.json()),代表以json形式返回响应内容,如下:
2.Request Headers爬虫应用
爬虫程序通过定制Request Headers来模拟浏览器的访问行为,以应对网站的反爬虫策略,避免被封。
如:爬取知乎页面元素时,需要设置与浏览器一致的请求头,然后再发送请求
测试url:https://www.zhihu.com/explore
情形1:不设置Request Headers
import requests
r = requests.get('https://www.zhihu.com/explore')
print(r.text)
执行结果:
400状态,错误请求,服务器无法解析请求
情形2:设置Request Headers
(从浏览器Copy一份User-Agent作为设置的Headers)
import requests
header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
r = requests.get('https://www.zhihu.com/explore',headers=header)
print(r.text)
执行结果:
可正常返回页面的元素
四、Requests Cookies设置
1.设置Cookies
通过cookies参数可以设置Cookie
request advanced.py
import requests
base_url = 'http://httpbin.org'
cookie = {'uid':'666'}
r =requests.get(base_url+'/cookies',cookies=cookie)
print(r.text)
执行结果:
2.获取Cookies
首页对某个站点发起请求,然后获取其Cookies(通过调用cookies属性即可获取所请求站点的cookies)
r = requests.get('http://www.baidu.com')
print(r.cookies)
print(type(r.cookies))
for key,value in r.cookies.items():
print(key+':'+value)
执行结果:
从以上输出结果中可以观察到:
1)所获取的cookies的类型是RequestCookieJar类型
2)用items()方法将所获取的cookies转化为元组组成的列表,然后遍历输出每一个cookie的名称和值,实现cookies的遍历解析
五、Requests超时设置 & 文件上传
1.超时设置
将timeout作为参数项,若响应超过设置的时间后即停止等待响应,以防某些请求没有响应而一直处于等待状态
1)先获取响应时间
import requests
base_url = 'http://httpbin.org'
cookie = {'uid':'666'}
r = requests.get(base_url+'/cookies',cookies=cookie)
print(r.text)
print(r.elapsed.total_seconds()) # 获取响应时间(s)
2)设置等待响应的超时时间
cookie = {'uid':'666'}
r = requests.get(base_url+'/cookies',cookies=cookie,timeout=0.5)
print(r.text)
执行结果:(连接超时,抛出异常)
requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='httpbin.org',
port=80): Max retries exceeded with url: /cookies (Caused by
ConnectTimeoutError(<urllib3.connection.HTTPConnection object at
0x02043BB0>, 'Connection to httpbin.org timed out. (connect timeout=0.5)'))
2.文件上传
Requests利用files作为参数模拟提交文件数据
file = {'file':open('test.bmp','rb')} #rb表示用二进制格式打开指定目录下的文件,且用于只读
r =requests.post(base_url+'/post',files=file)
print(r.text)
执行结果:
指定目录下(本次与脚本文件在同一目录)的图片数据经过编码已经提交ok
六、Session会话对象
会话(Session):Session对象存储特定用户会话所需的属性及配置信息。当用户在应用程序的Web页面之间跳转时,存储在Session对象中的变量将在整个用户会话过程中一直存在,以确保在不同页面中操作的是同一个用户。
在接口测试过程中接口之间经常有依赖关系,如某个接口中的数值传递到另外一个接口作为参数传递使用。
案例:A请求是设置 Cookie,B请求是获取Cookie。若没有Session保存机制的情况下,B接口是没法获取到A接口设置的Cookie值。
# 设置Cookies。{name}/{value}分别设置Cookie的名称和值
http://www.httpbin.org/cookies/set/{name}/{value}
# 获取Cookies
http://www.httpbin.org/cookies
场景①:未启用Session保存机制
执行代码:
# A接口设置Cookie
r = requests.get(base_url+'/cookies/set/uid/666')
print(r.text)
print('--------------------')
# B接口获取Cookie
r = requests.get(base_url+'/cookies')
print(r.text)
执行结果:
场景②:启用Session保存机制
Requests的会话对象能够跨请求保持某些参数,也会在同一个Session实例发出的所有请求之间保持cookie一致。
适用场景:利用Session可以模拟同一个会话,如模拟登录成功之后再进行后续操作
执行代码:
# 生成会话对象
s = requests.session()
# 利用会话对象调用接口A并设置cookie
r = s.get(base_url+'/cookies/set/uid/666')
print(r.text)
print('--------------------')
# 利用同一会话对象调用接口B并获取cookie
r = s.get(base_url+'/cookies')
print(r.text)
执行结果:
七、SSL验证 & 代理设置
1.SSL证书验证
Requests可以模拟Web浏览器,实现对HTTPS请求来验证SSL证书。SSL验证默认是开启的,若证书验证失败,Requests会抛出SSLError;若不想验证SSL则可以使用verify参数(verify=False)关闭验证SSL。
以验证12306网站的证书为例,如下:
1)保持默认开启SSL证书验证,发送请求
执行代码:
import requests
r = requests.get('https://www.12306.cn')
print(r.text)
执行结果:
ssl.CertificateError: hostname 'www.12306.cn' doesn't match either of
'webssl.chinanetcenter.com', 'i.l.inmobicdn.net', ...
PS:12306的证书是自己颁发给自己的,若不关闭SSL认证时,会出现认证失败
2)利用verify参数关闭验证SSL
执行代码:
import requests
r = requests.get('https://www.12306.cn',verify=False)
print(r.text)
执行结果:
2.代理设置
代理(Proxy):网络代理是一种特殊的网络服务,允许一个网络终端(客户端)通过代理服务与另一个网络终端(服务器)进行非直接的连接。代理服务器位于客户端和服务端之间,代理服务器接收客户端的请求,然后代替客户端向目标网站发出请求,所有的流量路由均来自代理服务器的IP地址,从而实现获取一些不能直接获取的资源。
测试过程中,有的接口在请求少量次数时,可正常获取内容。但若大量频繁请求(如:性能测试场景),服务器可能会开启验证,甚至直接把IP封禁。为了防止以上情况影响正常测试,此时就需要设置代理来解决。在Requests中需要用到proxies参数,在爬虫时也会常用到代理设置。
测试过程中所需的代理IP,可参考:西刺免费代理IP
选取某个代理IP进行测试:
类型:HTTP
IP地址:118.190.95.35
端口:9001
执行代码:
proxy = {'http':'118.190.95.35:9001'}
r = requests.get(base_url+'/get',proxies=proxy)
print(r.text)
执行结果:
以上返回结果中,origin参数即为请求时所设置的代理IP(若不设置代理IP,则origin显示为所用测试机的IP)
八、身份认证
身份认证:很多接口都需要身份认证,Requests支持多种身份认证,如:BasicAuth、DigestAuth...
执行代码:
import requests
from requests.auth import HTTPBasicAuth
from requests.auth import HTTPDigestAuth
base_url = 'http://httpbin.org'
# BasicAuth认证
r = requests.get(base_url+'/basic-auth/test00001/111111',auth=HTTPBasicAuth('test00001','111111'))
print(r.text)
print('------------------')
# DigestAuth认证
r = requests.get(base_url+'/digest-auth/auth/test00002/222222',auth=HTTPDigestAuth('test00002','222222'))
print(r.text)
执行结果:
九、流式请求
流式请求:有的接口返回值包含有多个结果,而非常规的返回一个结果。比如查询接口,其返回值为排在前面固定数量的多个结果。
案例
请求接口:http://httpbin.ors/streas/{n}
n表示返回结果集的数量,比如输入10则会返回10个不同id的结果,如下:
r = requests.get(base_url+'/stream/10')
print(r.text)
针对此类型接口,对结果集的处理需要使用iter_lines()迭代方法来处理。如下:
iter_lines() 函数说明:http://docs.python-requests.org/zh_CN/latest/api.html
执行代码:
import requests
import json
# 发送流式请求,stream=True表示接受流式请求,返回多个结果
r = requests.get(base_url+'/stream/10',stream=True)
# 若响应内容未设置编码格式,则将其设置为utf-8格式
if r.encoding is None:
r.encoding = 'utf-8'
# 对响应结果进行迭代处理每一组数据(一次一行)
for line in r.iter_lines(decode_unicode=True): # unicode解码方式
if line:
data = json.loads(line) # 将响应的json数据转换为python数据(字典类型)
print(data['id']) #输出每个结果(字典类型)中id键对应的值
执行结果:
PS:
json.loads() 函数实现:json格式的字符串(str)
==> python格式的字典(dict)
原文:https://www.jianshu.com/p/6a44eca9841d