• 第六节:web爬虫之urllib(二)


    二、urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None) 

    简介:urllib.request 模块提供了最基本的构造 HTTP 请求的方法,利用它可以模拟浏览器的一个请求发起过程,同时它还带有处理 authenticaton (授权验证), redirections (重定向), cookies (浏览器Cookies)以及其它内容

    参数详解:

      url:访问的地址。

      data:此参数为可选字段,其中传递的参数需要转为bytes,如果是字典我们只需要通过 urllib.parse.urlencode 转换即可:

      headers:http相应headers传递的信息,构造方法:headers 参数传递,通过调用 Request 对象的 add_header() 方法来添加请求头;

      origin_req_host :指的是请求方的 host 名称或者 IP 地址。

      unverifiable :用来表明这个请求是否是无法验证的,默认是 False 。意思就是说用户没有足够权限来选择接收这个请求的结果。如果没有权限,这时  unverifiable 的值就是 True 。

      method :用来指示请求使用的方法,比如 GET , POST , PUT 等

    了解一下 Urllib 库后,介绍一下它包含四个模块:

    第一个模块 request:

      它是最基本的 HTTP 请求模块,我们可以用它来模拟发送一请求,就像在浏览器里输入网址然后敲击回车一样,只需要给库方法传入 URL 还有额外的参数,就可以模拟实现这个过程了。

  • 相关阅读:
    超详细JSON解析步骤
    HTTP请求头和响应头总结
    Oracle 数据库常用操作语句大全
    关于HTTP协议,一篇就够了
    PowerDesigner工具建表步骤
    求助:ACM剑气算法
    一道题
    个人Java学习中的遇到的几个模糊的地方
    Java编程:数学黑洞6174
    高级查询
  • 原文地址:https://www.cnblogs.com/zhaco/p/10478877.html
Copyright © 2020-2023  润新知