requests-post请求

一、requests的post请求

requests请求方法除了get请求方法外，还有其他方法，比如常用的post方法

什么场景下需要用到post方法呢？

1. 网页需要登录的情况下；

2.需要给网页传输内容的情况下。

其实用法大都数和get请求一样，只是需要加上data参数

response = requests.post("http://www.baidu.com/", data = data,headers=headers)

我们以网易云翻译为例

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

    query = input('请输入你需要翻译的内容:')

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
        'referer': 'https://fanyi.baidu.com/',
        'cookie': 'BAIDUID=EC86E3FB7D99BBA639F92DF7E479E4ED:FG=1; BIDUPSID=EC86E3FB7D99BBA639F92DF7E479E4ED; PSTM=1593858400; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1596875815; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1596877593; __yjsv5_shitong=1.0_7_72b36bad244076f7a07c191f9c99b5ab5ffb_300_1596877595579_117.136.21.184_7c38597c; yjs_js_security_passport=d8d4b3445e3b69e84612f574f19cc7ce97e3de5d_1596877615_js'

    }

    data = {
        'i': query,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME',
    }

    response = requests.post(url, data=data, headers=headers).content.decode()

浏览器访问抓包结果

 

这样我们还可以通过这个制作一个小小的翻译机器

flag = True
while flag:
    url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

    query = input('请输入你需要翻译的内容:')

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
        'referer': 'https://fanyi.baidu.com/',
        'cookie': 'BAIDUID=EC86E3FB7D99BBA639F92DF7E479E4ED:FG=1; BIDUPSID=EC86E3FB7D99BBA639F92DF7E479E4ED; PSTM=1593858400; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1596875815; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1596877593; __yjsv5_shitong=1.0_7_72b36bad244076f7a07c191f9c99b5ab5ffb_300_1596877595579_117.136.21.184_7c38597c; yjs_js_security_passport=d8d4b3445e3b69e84612f574f19cc7ce97e3de5d_1596877615_js'

    }

    data = {
        'i': query,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME',
    }

    response = requests.post(url, data=data, headers=headers).content.decode()
    print('翻译的结果是:{}'.format(eval(response)['translateResult'][0][0]['tgt']))

    # 添加判断，做继续与退出
    f = input('退出输入[y/n]:')
    if f == 'y' or f == 'n':
        flag = False

 调试结果：

二、代理

1.代理的作用

代理的作用：

1. 让服务器以为不是同一个客户端在请求

2. 防止我们的真实地址被泄露，防止被追究

总之代理就是隐藏客户端的一个工具

2.代理的分类

根据代理ip的匿名程度，代理IP可以分为下面四类：

• 透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。

• 匿名代理(Anonymous Proxy)：使用匿名代理，别人只能知道你用了代理，无法知道你是谁。

• 高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。

在使用的使用，毫无疑问使用高匿代理效果最好

从请求使用的协议可以分为：

• http代理
• https代理
• socket代理等

不同分类的代理，在使用的时候需要根据抓取网站的协议来选择

2.2代理作用过程图

2.3 理解正向代理和反向代理的区别

通过上图可以看出：

• 正向代理：对于浏览器知道服务器的真实地址，例如VPN
• 反向代理：浏览器不知道服务器的真实地址，例如nginx

3.代理用法

代理的用法也是通过字典传参的方式

  proxies = { 
      "http": "http://125.314.526.39:9527", 
      "https": "https://122.314.56.729:9527", 
      }

requests.get("http://www.baidu.com",  proxies = proxies)

代理是一种反反爬方式的方法

• 反反爬

  使用代理ip是非常必要的一种反反爬的方式

  但是即使使用了代理ip，对方服务器任然会有很多的方式来检测我们是否是一个爬虫，比如：

  • 一段时间内，检测IP访问的频率，访问太多频繁会屏蔽

  • 检查Cookie，User-Agent，Referer等header参数，若没有则屏蔽

  • 服务方购买所有代理提供商，加入到反爬虫数据库里，若检测是代理则屏蔽

    所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用，不要每次都用一个代理ip

• 代理ip池的更新

  购买的代理ip很多时候大部分(超过60%)可能都没办法使用，这个时候就需要通过程序去检测哪些可用，把不能用的删除掉。