1 Python Requests

1 HTTP协议

 2 HTTP协议与Requests库的一致性

3 安装 requests

• pip install requests

4 请求参数

• url: 获取页面的url链接
• params: 增加到url中的参数，字典或字节序列

# -*- encoding: utf-8 -*-
import requests

kv = {'k1':'v1', 'k2':'v2'}
resp = requests.get('https://www.baidu.com', params=kv)
print resp.url

#结果
https://www.baidu.com/?k2=v2&k1=v1

• data：向服务器提交资源，字典、字节序列或文件对象

# -*- encoding: utf-8 -*-
import requests
#用例1
kv = {'k1':'v1', 'k2':'v2'}
resp = requests.post('https://www.baidu.com', data=kv)
#用例2
data = '提交字符串'
resp = requests.post('https://www.baidu.com', data=data)

• json：向服务器提交json格式的数据

# -*- encoding: utf-8 -*-
import requests

kv = {'k1':'v1', 'k2':'v2'}
resp = requests.post('https://www.baidu.com', json=kv)

• headers：定制请求的协议头，字典

# -*- encoding: utf-8 -*-
import requests

hd = {'user-agent':'Chrome/10'}
resp = requests.post('https://www.baidu.com', headers=hd)

• cookies：请求中添加cookie，字典或CookieJar
• auth：支持HTTP认证功能，元组
• files：向服务器传输文件，字典

# -*- encoding: utf-8 -*-
import requests

fs = {'file':open('data.xls','rb')}
resp = requests.post('https://www.baidu.com', files=fs)

• timeout：请求超时时间，秒

# -*- encoding: utf-8 -*-
import requests

resp = requests.get('https://www.baidu.com', timeout=10)

• proxies：设定访问代理服务器，可以增加登录认证，字典，防止爬虫被反追踪

# -*- encoding: utf-8 -*-
import requests

pxs = {'http':'http://user:password@1.1.1.1:1234', 'https':'https://1.1.1.1:5678'}
resp = requests.get('https://www.baidu.com', proxies=pxs)

• allow_redirects：重定向开关，True/False，默认True
• stream：是否对获取内容立即下载，True/False，默认True
• verify：SSL证书认证，True/False，默认True
• cert：本地SSL证书路径

5 响应内容

type(resp)                #响应对象
resp.status_code          #状态码
resp.text                #响应内容的字符串形式
resp.content            #响应内容的二进制形式
resp.encoding            #从header中猜测的响应内容编码方式
resp.apparent_encoding    #从内容中分析出来的响应内容编码方式

6 异常处理

requests.ConnectionError    #网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError            #HTTP错误异常
requests.URLRequired        #url缺失异常
requests.TooManyRedirects    #超过最大重定向次数
requests.ConnectTimeout        #连接远程服务器超时
reqeusts.Timeout            #请求URL超时

resp.raise_for_status()        #如果状态码不是200，引发requests.HTTPError

7 函数封装

def getHTMLText(url):
    try:
        resp = requests.get(url, timeout=30)
        resp.raise_for_status()
        resp.encoding = resp.apparent_encoding
        return resp.text
    except:
        return '产生异常'
if __name__ == '__main__':
    url = 'http://www.baidu.com'
    print getHTMLText(url)

8 与单元测试框架结合

• 脚本

# -*- encoding: utf-8 -*-
import requests
import unittest2
import HTMLTestRunner
import time
import sys

reload(sys)
sys.setdefaultencoding('utf8')

class BaiduTest(unittest2.TestCase):
    '''测试百度接口'''
    def testNoParam(self):
        '''没有参数'''
        #返回response 对象，可以从这个对象中找到我们想要的信息
        resp = requests.get('https://www.baidu.com')
        self.assertEqual(resp.status_code, 200)

if __name__ == '__main__':
    #组织用例
    suite = unittest2.TestSuite()
    suite.addTest(BaiduTest('testNoParam'))
    # 报告准备
    reportName = time.strftime('%Y%m%d%H%M%S')  # 文件名
    fp = open('../reports/' + reportName + '.html', 'wb')  # 文件路径
    runner = HTMLTestRunner.HTMLTestRunner(stream=fp,  # 定义报告
                                           title='test reporter',
                                           description='interface test reporter Demo')
    # 执行测试
    runner.run(suite)
    #关闭文件
    fp.close()

• 结果

　

2