• 第二篇:请求库之requests,selenium


    requests模块

    一、介绍

    复制代码
    #介绍:使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3)
    
    #注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求
    
    #安装:pip3 install requests
    
    #各种请求方式:常用的就是requests.get()和requests.post()
    >>> import requests
    >>> r = requests.get('https://api.github.com/events')
    >>> r = requests.post('http://httpbin.org/post', data = {'key':'value'})
    >>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
    >>> r = requests.delete('http://httpbin.org/delete')
    >>> r = requests.head('http://httpbin.org/get')
    >>> r = requests.options('http://httpbin.org/get')
    
    #建议在正式学习requests前,先熟悉下HTTP协议
    http://www.cnblogs.com/linhaifeng/p/6266327.html
    复制代码

    二、基于GET请求

    1、基本请求

    import requests
    response=requests.get('http:/www.baidu.com/')
    print(response.text)

    2、带参数的GET请求->params

     1 #在请求头内将自己伪装成浏览器,否则百度不会正常返回页面内容
     2 import requests
     3 response=requests.get('https://www.baidu.com/s?wd=python&pn=1',
     4                       headers={
     5                         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',
     6                       })
     7 print(response.text)
     8 
     9 
    10 #如果查询关键词是中文或者有其他特殊符号,则不得不进行url编码
    11 from urllib.parse import urlencode
    12 wb = "haiyan海燕"
    13 encode_res = urlencode({"k":wb},encoding="utf-8")
    14 print(encode_res)  #k=haiyan%E6%B5%B7%E7%87%95
    15 keywords = encode_res.split("=")[1]  #haiyan%E6%B5%B7%E7%87%95
    16 url = "https://www.baidu.com/s?wd=%s&pn=1"%(keywords)
    17 # url = "https://www.baidu.com/s?"+encode_res
    18 print(url)
    19 # 然后拼接成url
    20 response = requests.get(
    21     url,
    22     headers = {
    23         "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",
    24     }
    25 )
    自己拼接GET参数
     1 #上述操作可以用requests模块的一个params参数搞定,本质还是调用urlencode
     2 from urllib.parse import urlencode
     3 wd='海燕nnn'
     4 pn=1
     5 
     6 response=requests.get('https://www.baidu.com/s',
     7                       params={
     8                           'wd':wd,
     9                           'pn':pn
    10                       },
    11                       headers={
    12                         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',
    13                       })
    14 res2=response.text
    15 
    16 #验证结果,打开a.html与b.html页面内容一样
    17 with open('a.html','w',encoding='utf-8') as f:
    18     f.write(res1) 
    19 with open('b.html', 'w', encoding='utf-8') as f:
    20     f.write(res2)
    21 
    22 params参数的使用
    params参数的使用

    3、带参数的GET请求->headers

    #通常我们在发送请求时都需要带上请求头,请求头是将自身伪装成浏览器的关键,常见的有用的请求头如下
    Host
    Referer #大型网站通常都会根据该参数判断请求的来源
    User-Agent #客户端
    Cookie #Cookie信息虽然包含在请求头里,但requests模块有单独的参数来处理他,headers={}内就不要放它了
    复制代码
    #添加headers(浏览器会识别请求头,不加可能会被拒绝访问,比如访问https://www.zhihu.com/explore)
    import requests
    response=requests.get('https://www.zhihu.com/explore')
    response.status_code #500
    
    
    #自己定制headers
    headers={
        'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36',
    
    }
    respone=requests.get('https://www.zhihu.com/explore',
                         headers=headers)
    print(respone.status_code) #200
    复制代码

    4、带参数的GET请求->cookies

    复制代码
    #登录github,然后从浏览器中获取cookies,以后就可以直接拿着cookie登录了,无需输入用户名密码
    #用户名:egonlin 邮箱378533872@qq.com 密码lhf@123
    
    import requests
    
    Cookies={   'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc',
    }
    
    response=requests.get('https://github.com/settings/emails',
                 cookies=Cookies) #github对请求头没有什么限制,我们无需定制user-agent,对于其他网站可能还需要定制
    
    
    print('378533872@qq.com' in response.text) #True
    复制代码

    三、基于POST请求

    1、介绍

    复制代码
    #GET请求
    HTTP默认的请求方法就是GET
         * 没有请求体
         * 数据必须在1K之内!
         * GET请求数据会暴露在浏览器的地址栏中
    
    GET请求常用的操作:
           1. 在浏览器的地址栏中直接给出URL,那么就一定是GET请求
           2. 点击页面上的超链接也一定是GET请求
           3. 提交表单时,表单默认使用GET请求,但可以设置为POST
    
    
    #POST请求
    (1). 数据不会出现在地址栏中
    (2). 数据的大小没有上限
    (3). 有请求体
    (4). 请求体中如果存在中文,会使用URL编码!
    
    
    #!!!requests.post()用法与requests.get()完全一致,特殊的是requests.post()有一个data参数,用来存放请求体数据
    复制代码

    2、发送post请求,模拟浏览器的登录行为

    注意:
     1、对于登录来说,应该输错用户名或密码然后分析抓包流程,用脑子想一想,输对了浏览器就跳转了,还分析个毛线,累死你也找不到包

      2、要做登录的时候一定记得要把cookie先清除; 
      3、requests.session():中间的cookie都不用自己分析了,有用的没用的都给放进来了、
      4、response.cookie.get_dict()    #获取cookie

     1 '''
     2 一 目标站点分析
     3     浏览器输入https://github.com/login
     4     然后输入错误的账号密码,抓包
     5     发现登录行为是post提交到:https://github.com/session
     6     而且请求头包含cookie
     7     而且请求体包含:
     8         commit:Sign in
     9         utf8:✓
    10         authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==
    11         login:egonlin
    12         password:123
    13 
    14 
    15 二 流程分析
    16     先GET:https://github.com/login拿到初始cookie与authenticity_token
    17     返回POST:https://github.com/session, 带上初始cookie,带上请求体(authenticity_token,用户名,密码等)
    18     最后拿到登录cookie
    19 
    20     ps:如果密码时密文形式,则可以先输错账号,输对密码,然后到浏览器中拿到加密后的密码,github的密码是明文
    21 '''
    22 
    23 import requests
    24 import re
    25 
    26 #第一次请求
    27 r1=requests.get('https://github.com/login')
    28 r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
    29 authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN
    30 
    31 #第二次请求:带着初始cookie和TOKEN发送POST请求给登录页面,带上账号密码
    32 data={
    33     'commit':'Sign in',
    34     'utf8':'',
    35     'authenticity_token':authenticity_token,
    36     'login':'317828332@qq.com',
    37     'password':'alex3714'
    38 }
    39 r2=requests.post('https://github.com/session',
    40              data=data,
    41              cookies=r1_cookie
    42              )
    43 
    44 
    45 login_cookie=r2.cookies.get_dict()
    46 
    47 
    48 #第三次请求:以后的登录,拿着login_cookie就可以,比如访问一些个人配置
    49 r3=requests.get('https://github.com/settings/emails',
    50                 cookies=login_cookie)
    51 
    52 print('317828332@qq.com' in r3.text) #True
    53 
    54 自动登录github(自己处理cookie信息)
    自动登录github(自己处理cookie信息)
    1 import requests
     2 import re
     3 
     4 session=requests.session()
     5 #第一次请求
     6 r1=session.get('https://github.com/login')
     7 authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN
     8 
     9 #第二次请求
    10 data={
    11     'commit':'Sign in',
    12     'utf8':'',
    13     'authenticity_token':authenticity_token,
    14     'login':'317828332@qq.com',
    15     'password':'alex3714'
    16 }
    17 r2=session.post('https://github.com/session',
    18              data=data,
    19              )
    20 
    21 #第三次请求
    22 r3=session.get('https://github.com/settings/emails')
    23 
    24 print('317828332@qq.com' in r3.text) #True
    requests.session()自动帮我们保存cookie信息

    登录github小应用

    复制代码
    import requests
    import re
    #第一次请求
        # GET请求
        # 请求头
        #    - 获取token和
        #    - User-agent
        #    - cookie
    # 第二次请求
        #POST请求
        #请求头
            # referer
            # User-agent
        #请求体
            #获取data
    # 第三次请求,登录成功之后
        #- 请求之前自己先登录一下,看一下有没有referer
        #- 请求新的url,进行其他操作
        #- 查看用户名在不在里面
    #第一次请求
    response1 = requests.get(
        "https://github.com/login",
        headers = {
            "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",
        },
    )
    authenticity_token = re.findall('name="authenticity_token".*?value="(.*?)"',response1.text,re.S)
    r1_cookies =  response1.cookies.get_dict()
    # print(r1_cookies,"cookie")  #获取到的cookie
    
    #第二次请求
    response2 = requests.post(
        "https://github.com/session",
        headers = {
            "Referer": "https://github.com/",
            "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",
        },
        data={
                "commit":"Sign in",
                "utf8":"✓",
                "authenticity_token":authenticity_token,
                "login":"haiyanzzz",
                "password":"xxxx",
    zhy..azjash1234
        },
        cookies = r1_cookies
    )
    print(response2.status_code)
    print(response2.history)  #跳转的历史状态码
    
    #第三次请求,登录成功之后,访问其他页面
    r2_cookies = response2.cookies.get_dict()  #拿上cookie,知道是你登录了,就开始访问页面
    response3 = requests.get(
        "https://github.com/settings/emails",
        headers = {
            "Referer": "https://github.com/",
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",
        },
        cookies = r2_cookies,
    )
    print(response3.text)
    print("haiyanzzz" in response3.text)   #True返回True说明就成功了
    复制代码

    3、补充

     1 requests.post(url='xxxxxxxx',
     2               data={'xxx':'yyy'}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed
     3 
     4 #如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值
     5 requests.post(url='',
     6               data={'':1,},
     7               headers={
     8                   'content-type':'application/json'
     9               })
    10 
    11 
    12 requests.post(url='',
    13               json={'':1,},
    14               ) #默认的请求头:application/json
    View Code

    四、响应Response

    1、response属性

    复制代码
    import requests
    respone=requests.get('http://www.jianshu.com')
    # respone属性
    print(respone.text)
    print(respone.content)
    
    print(respone.status_code)
    print(respone.headers)
    print(respone.cookies)
    print(respone.cookies.get_dict())
    print(respone.cookies.items())
    
    print(respone.url)
    print(respone.history)
    
    print(respone.encoding)
    
    #关闭:response.close()
    from contextlib import closing
    with closing(requests.get('xxx',stream=True)) as response:
        for line in response.iter_content():
        pass
    复制代码

    2、编码问题

    #编码问题
    import requests
    response=requests.get('http://www.autohome.com/news')
    # response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的,而requests的默认编码为ISO-8859-1,如果不设置成gbk则中文乱码
    print(response.text)

    3、获取二进制数据

    复制代码
    import requests
    
    response=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1509868306530&di=712e4ef3ab258b3
    6e9f4b48e85a81c9d&imgtype=0&src=http%3A%2F%2Fc.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F11385343fbf2b211e1fb58a1c08065380dd78e0c.jpg') with open('a.jpg','wb') as f: f.write(response.content)
    复制代码
    stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的
     1 #stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的
     2 
     3 import requests
     4 
     5 response=requests.get('https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4',
     6                       stream=True)
     7 
     8 with open('b.mp4','wb') as f:
     9     for line in response.iter_content():
    10         f.write(line)
    获取二进制流(iter_content)

    4、解析json

    复制代码
    #解析json
    import requests
    response=requests.get('http://httpbin.org/get')
    
    import json
    res1=json.loads(response.text) #太麻烦
    
    res2=response.json() #直接获取json数据
    
    
    print(res1 == res2) #True
    复制代码

    5、Redirection and History

     1 By default Requests will perform location redirection for all verbs except HEAD.
     2 
     3 We can use the history property of the Response object to track redirection.
     4 
     5 The Response.history list contains the Response objects that were created in order to complete the request. The list is sorted from the oldest to the most recent response.
     6 
     7 For example, GitHub redirects all HTTP requests to HTTPS:
     8 
     9 >>> r = requests.get('http://github.com')
    10 
    11 >>> r.url
    12 'https://github.com/'
    13 
    14 >>> r.status_code
    15 
    16 >>> r.history
    17 [<Response [301]>]
    18 If you're using GET, OPTIONS, POST, PUT, PATCH or DELETE, you can disable redirection handling with the allow_redirects parameter:
    19 
    20 >>> r = requests.get('http://github.com', allow_redirects=False)
    21 
    22 >>> r.status_code
    23 
    24 >>> r.history
    25 []
    26 If you're using HEAD, you can enable redirection as well:
    27 
    28 >>> r = requests.head('http://github.com', allow_redirects=True)
    29 
    30 >>> r.url
    31 'https://github.com/'
    32 
    33 >>> r.history
    34 [<Response [301]>]
    35 
    36 先看官网的解释
    View Code
    复制代码
    import requests
    import re
    
    #第一次请求
    r1=requests.get('https://github.com/login')
    r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
    authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN
    
    #第二次请求:带着初始cookie和TOKEN发送POST请求给登录页面,带上账号密码
    data={
        'commit':'Sign in',
        'utf8':'✓',
        'authenticity_token':authenticity_token,
        'login':'317828332@qq.com',
        'password':'alex3714'
    }
    
    
    
    
    
    
    #测试一:没有指定allow_redirects=False,则响应头中出现Location就跳转到新页面,r2代表新页面的response
    r2=requests.post('https://github.com/session',
                 data=data,
                 cookies=r1_cookie
                 )
    
    print(r2.status_code) #200
    print(r2.url) #看到的是跳转后的页面
    print(r2.history) #看到的是跳转前的response
    print(r2.history[0].text) #看到的是跳转前的response.text
    
    
    #测试二:指定allow_redirects=False,则响应头中即便出现Location也不会跳转到新页面,r2代表的仍然是老页面的response
    r2=requests.post('https://github.com/session',
                 data=data,
                 cookies=r1_cookie,
                 allow_redirects=False
                 )
    
    
    print(r2.status_code) #302
    print(r2.url) #看到的是跳转前的页面https://github.com/session
    print(r2.history) #[]
    
    利用github登录后跳转到主页面的例子来验证它
    复制代码

    五、高级用法

    1、SSL Cert Verification

     1 #证书验证(大部分网站都是https)
     2 import requests
     3 respone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端
     4 
     5 
     6 #改进1:去掉报错,但是会报警告
     7 import requests
     8 respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200
     9 print(respone.status_code)
    10 
    11 
    12 #改进2:去掉报错,并且去掉警报信息
    13 import requests
    14 from requests.packages import urllib3
    15 urllib3.disable_warnings() #关闭警告
    16 respone=requests.get('https://www.12306.cn',verify=False)
    17 print(respone.status_code)
    18 
    19 #改进3:加上证书
    20 #很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书
    21 #知乎百度等都是可带可不带
    22 #有硬性要求的,则必须带,比如对于定向的用户,拿到证书后才有权限访问某个特定网站
    23 import requests
    24 respone=requests.get('https://www.12306.cn',
    25                      cert=('/path/server.crt',
    26                            '/path/key'))
    27 print(respone.status_code)
    View Code

    2、使用代理

     1 #官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies
     2 
     3 #代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)
     4 import requests
     5 proxies={
     6     'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码
     7     'http':'http://localhost:9743',
     8     'https':'https://localhost:9743',
     9 }
    10 respone=requests.get('https://www.12306.cn',
    11                      proxies=proxies)
    12 
    13 print(respone.status_code)
    14 
    15 
    16 
    17 #支持socks代理,安装:pip install requests[socks]
    18 import requests
    19 proxies = {
    20     'http': 'socks5://user:pass@host:port',
    21     'https': 'socks5://user:pass@host:port'
    22 }
    23 respone=requests.get('https://www.12306.cn',
    24                      proxies=proxies)
    25 
    26 print(respone.status_code)
    View Code

    3、超时设置

    1 #超时设置
    2 #两种超时:float or tuple
    3 #timeout=0.1 #代表接收数据的超时时间
    4 #timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间
    5 
    6 import requests
    7 respone=requests.get('https://www.baidu.com',
    8                      timeout=0.0001)
    View Code

    4、 认证设置

    1 #官网链接:http://docs.python-requests.org/en/master/user/authentication/
     2 
     3 #认证设置:登陆网站是,弹出一个框,要求你输入用户名密码(与alter很类似),此时是无法获取html的
     4 # 但本质原理是拼接成请求头发送
     5 #         r.headers['Authorization'] = _basic_auth_str(self.username, self.password)
     6 # 一般的网站都不用默认的加密方式,都是自己写
     7 # 那么我们就需要按照网站的加密方式,自己写一个类似于_basic_auth_str的方法
     8 # 得到加密字符串后添加到请求头
     9 #         r.headers['Authorization'] =func('.....')
    10 
    11 #看一看默认的加密方式吧,通常网站都不会用默认的加密设置
    12 import requests
    13 from requests.auth import HTTPBasicAuth
    14 r=requests.get('xxx',auth=HTTPBasicAuth('user','password'))
    15 print(r.status_code)
    16 
    17 #HTTPBasicAuth可以简写为如下格式
    18 import requests
    19 r=requests.get('xxx',auth=('user','password'))
    20 print(r.status_code)
    View Code

    5、异常处理

     1 #异常处理
     2 import requests
     3 from requests.exceptions import * #可以查看requests.exceptions获取异常类型
     4 
     5 try:
     6     r=requests.get('http://www.baidu.com',timeout=0.00001)
     7 except ReadTimeout:
     8     print('===:')
     9 # except ConnectionError: #网络不通
    10 #     print('-----')
    11 # except Timeout:
    12 #     print('aaaaa')
    13 
    14 except RequestException:
    15     print('Error')
    View Code

    6、上传文件

    1 import requests
    2 files={'file':open('a.jpg','rb')}
    3 respone=requests.post('http://httpbin.org/post',files=files)
    4 print(respone.status_code)
    View Code
  • 相关阅读:
    数据结构-王道2017-绪论-1.2 算法和算法评价
    数据结构-王道2017-绪论-1.1 数据结构的基本概念
    挑战程序设计竞赛-2.1最基础的“穷竭搜索”-宽度优先搜索-迷宫的最短路径
    挑战程序设计竞赛-2.1最基础的“穷竭搜索”-Lake Counting
    挑战程序设计竞赛-1.6节-三角形
    C++注意事项
    Software Project Management -- HW1
    Software Testing -- HW2
    Software Testing -- HW1
    c语言与c++基础知识
  • 原文地址:https://www.cnblogs.com/mqhpy/p/11370151.html
Copyright © 2020-2023  润新知