requests模块

一安装

1.linux

　　sudo pip3 install requests

2.windows

# 方法一
   进入cmd命令行 ：python -m pip install requests
# 方法二
   右键管理员进入cmd命令行 ：pip install requests

二常用方法

(一)requests.get()

1.作用

# 向网站发起请求,并获取响应对象
res = requests.get(url,headers=headers)

2.参数

1、url ：需要抓取的URL地址
2、headers : 请求头
3、timeout : 超时时间，超过时间会抛出异常

3.相应对象(res)属性

1、encoding 响应字符编码
   res.encoding = 'utf-8'
2、text 字符串
　　res.text 
3、content 字节流(bytes)
　　res.content 
4、status_code HTTP响应码
　　res.status_code 
5、url 实际数据URL地址
　　res.url ：实际数据的URL地址

4.非结构化数据保存

with open('xxx.jpg','wb') as f:
    f.write(res.content)

5.示例:保存赵丽颖图片到本地

import requests

url = 'https://img3.duitang.com/uploads/item/201511/25/20151125151708_CwPkR.jpeg'
headers = {'User-Agent':'Mozilla/5.0'}
res = requests.get(url=url,headers=headers)
# 获取文本内容 bytes
html = res.content
filename = url[-10:]
with open(filename,'wb') as f:
  f.write(html)

6.练习

1、将猫眼电影案例改写为 requests 模块实现
2、将电影天堂案例改写为 requests 模块实现