• Python 网络请求模块 urllib 、requests


    无需参数直接请求单个页面

    import urllib
    from urllib.request import request
    from urllib.urlopen import urlopen
    # import urllib2
    import requests
    
    # 使用 urllib 方式获取
    response = urllib.request.urlopen('http://www.baidu.com')
    # read() 读取的是服务器的原始返回数据 decode() 后会进行转码
    print(response.read().decode())
    
    # 使用 requests 方式获取
    # request 模块相比
    resp = requests.get('http://www.baidu.com')
    print(resp)
    print(resp.text)

    HTTP 是基于请求和响应的工作模式,urllib.request 提供了一个 Request 对象来代表请求,因此上面的代码也可以这么写

    req = urllib.request.Request('http://www.baidu.com')
    with urllib.request.urlopen(req) as response:
    print(response.read())
    

    Request对象可以增加header信息

    req = urllib.request.Request('http://www.baidu.com')
    req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
    with urllib.request.urlopen(req) as response:
    print(response.read())

    或者直接将 header 传入 Request 构建函数。

    带参数的 GET 请求

    带有参数的请求和上面的例子本质一样,可以事先拼出URL请求字符串,然后再进行请求。
    本例使用了 腾讯 的股票API,可以传入不同的股票代码以及日期,查询对应股票在对应时间的价格、交易信息。

    # 使用带参数的接口访问
    tencent_api = "http://qt.gtimg.cn/q=sh601939"
    
    response = urllib.request.urlopen(tencent_api)
    # read() 读取的是服务器的原始返回数据 decode() 后会进行转码
    print(response.read())
    
    resp = requests.get(tencent_api)
    print(resp)
    print(resp.text)

    发送 POST 请求

    urllib 没有单独区分 GET 和 POST 请求的函数,只是通过 Request 对象是否有 data 参数传入来判断。
    
    import urllib.parse
    import urllib.request
    url = 'http://www.someserver.com/cgi-bin/register.cgi'
    values = {'name' : 'Michael Foord',
              'location' : 'Northampton',
              'language' : 'Python' }
    data = urllib.parse.urlencode(values)
    data = data.encode('ascii') # data should be bytes req = urllib.request.Request(url, data)
    with urllib.request.urlopen(req) as response:
       the_page = response.read()

    参考资料:
    1、python3 urllib.request 网络请求操作
    2、Python3学习笔记(urllib模块的使用)
    3、Python模拟登录的几种方法
    4、What are the differences between the urllib, urllib2, and requests module?
    5、python3 urllib和requests模块

  • 相关阅读:
    xml和web Server以及Remoting
    web窗体的基本控件
    迭代器
    .net 细节问题
    Linq笔记
    .net基础概念理解
    Gridview 和DetailsView FormView细节注意
    .net 基础学习(vs2008 3.5框架)
    一、多线程基础
    CentOS 7和SpringBoot下的Redis配置
  • 原文地址:https://www.cnblogs.com/ilovecpp/p/12797838.html
Copyright © 2020-2023  润新知