• 爬虫基础1 怎么使用浏览器查看网络请求


    推荐使用火狐和谷歌浏览器,一般两个对照着看。

     下面是两个浏览器对同一个网址的页面进行检查的,对比,火狐直接是中文显示,谷歌则是英文显示。

    如下页面是火狐的

    如下是谷歌浏览器的

    下面是这些字段的介绍:

      1.Name:请求的名称,一般是会将URL的最后一部分内容当做名称

      2.Satus:响应的状态码,200代表响应成功。

      3.Type:请求的文档类型,这里是document,代表请求的是一个html文档,内容就是一些HTML代码。

      4.Initiator:请求源,用来标记请求是由那个对象或进程发起的。

      5.Size:从服务器下载的文件和请求资源的大小。如果是从缓冲中取得的资源,则该列会显示from memory cache

      6.Time:发起请求到获取响应所用的总时间

      7.Waterfall:网络请求的可视化pubuliu

     点击名字进去后,就可以看到更详细的内容,上面分别是Header,Preview,Response,Cookies,Timing等四个字段。请求头,预览,响应,cookies储存在用户本地终端上的数据,请求耗时时间。

     主要看消息头里面的东西

      General:  

        Requests URL:请求的url

        Request Method:请求方法

        Status Code:显示状态码

        Remote Address:域名对应的真实ip:port

        Referrer Policy:按照浏览器的默认值执行。默认值为 no-referrer-when-downgrade。部分标签可重定义此安全策略,当发生降级(比如从 https:// 跳转到 http:// )时,不传递 Referrer 报头。但是反过来的话不受影响。通常也会当作浏览器的默认安全策略。

     

      如上图所示,接着就是响应头

        Response Heasers:

          Connection:Keep-Alive             是否保持与服务器的tcp长连接。keep-alive(默认)

          Content-Encoding:gzip             web服务器支持的返回内容压缩编码类型 gzip

          Content-Length:3560                响应体的长度

          Content-Type:text/html             响应内容的格式/类型text/html;charset=UTF-8标识返回的内容是文本类型,html格式。

          Date:Tue, 13 Nov 2018 07:25:51 GMT         消息发出时间(GMT) Sat, 23 Apr 2016 07:47:54 GMT GMT+8=北京时间

          Keep-Alive:timeout=5, max=100               

          Server:Apache/2.2.22            请求服务器的类型

          Vary:Accept-Encoding              提示使用缓存响应还是从原始服务器请求,即当缓存中存在一个未过期的响应是否能被后续的请求服用,Accept-Encoding、User-Agent。如果vary的值中返回了User-Agent,那么通过不同的浏览器打开相同的页面都会重新请求服务器;如果Vary中没返                            回User-Agent,那么客户端缓存把它看成是相同的页面,相同的请求,直接给用户返回缓存的内容;如果返回的值是Accept-Encoding,将请求头信息中的Accept-encoding字段的值(gzip等)作为缓存的key;如果vary的值为*表示缓存不会去做判断

          X-Powered-By:PHP/5.4.38-0+deb7u1                  告知网站是用何种语言或框架编写的

     

    如上图所示,接着就是请求头:

      Request Headers: 

    1. Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
    2. Accept-Encoding:gzip, deflate
    3. Accept-Language:zh-CN,zh;q=0.9
    4. Cache-Control:max-age=0
    5. Connection:keep-alive
    6. Cookie:__gads=ID=3a97ca9ef908e54d:T=1538967008:S=ALNI_MYEP2O2reQ4sADI3Nk4aUK6fRoMpQ; __utmz=62705790.1538967019.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=62705790.157587332.1538967018.1542090732.1542093734.5;   __utmc=62705790;__utmt=1;__utmb=62705790.1.10.1542093734
    7. Host:www.cplusplus.com
    8. Upgrade-Insecure-Requests:1
    9. User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36              发出请求的客户端信息

     

  • 相关阅读:
    C#图片存到资源文件,以及调用图片
    error C2039: “create”: 不是“cocos2d::GLView”的成员,出错解决办法
    error LNK2038: 检测到“_MSC_VER”的不匹配项: 值“1600”不匹配值“1800”
    vs2013激活码
    AppDelegate.h文件
    AppDelegate.cpp文件详解
    【最终版】Cocos2d-x&JS v3.7 发布!
    cocos2d-x 3.0 示例代码分析3:BaseTest
    vue li click
    me
  • 原文地址:https://www.cnblogs.com/AlfredZKY/p/9952477.html
Copyright © 2020-2023  润新知