requests作用、参数动态化、什么是UA、反反爬策略

- requests作用：模拟浏览器发起请求
- urllib：requests的前身
- requests模块的编码流程：
- 指定url
- 发起请求：
- get（url, params, headers）
- post（url, data, headers）
- 获取响应数据
- 持久化存储

- 参数动态化：
- 有些情况下我们是需要将请求参数进行更改。将get或者post请求对应的请求参数封装到一个字典（键值对 == 请求参数）中，然后将改字典作用到get方法的params参数中或者作用到psot方法的data参数中
- UA检测（反爬机制）：
- 什么是UA：请求载体的身份标识。服务器端会检测请求的UA来鉴定其身份。
- 反反爬策略：UA伪装。通过抓包工具捕获某一款浏览器的UA值，封装到字典中，且将该字典作用到headers参数中
- 动态加载的数据
- 通过另一个单独的请求请求到的数据
- 如果我们要对一个陌生的网站进行指定数据的爬取？
- 首先要确定爬取的数据在改网站中是否为动态加载的
- 是：通过抓包工具实现全局搜索，定位动态加载数据对应的数据包，从数据包中提取请求的url和请求参数。
- 不是：就可以直接将浏览器地址栏中的网址作为我们requests请求的url