• Fiddler工具使用(一)


    1.什么是Fiddler

      Fiddler是一种常见的抓包分析软件,可以利用Fiddler对HTTP请求进行分,还可以模拟HTTP请求。

      常见的抓包软件:浏览器自带的调试工具,按F12;Wireshark。

    2.网络爬虫和Fiddler的关系

      网络爬虫是自动爬取网页的程序,在爬取时涉及客户端和服务器之间的通信,需要发送一些HTTP请求,并接收服务器返回的结果。而有些请求我们仅仅看网址变化并不能了解其中的规律,想要通过程序构造请求,就必须要先分析请求的规律,这个时候就需要用Fiddler来截获这些请求,对这些请求进行分析,这样的话,我们的工作就能进行的更加方便。当然了,在编写爬虫的时候,不一定都能用到Fiddler,但是对于一些比较复杂的网页来说,用Fiddler可以使我们更好、更快的分析网页,编写出对应的爬虫。

    3.Fiddler的基本原理

    本地客户端软件或浏览器与互联网服务器之间的通信,在有Fiddler加持的情况下,可以如下表示(画的有点简陋,理解就好理解就好~)

    从图中可以看出,在没有Fiddler时,本地应用在与服务器通信时,是直接发送Request请求到服务器,在服务器处理后将结果返回本地,本地接收响应Response;而有了Fiddler之后,本地应用和服务器之间的请求响应都会经过Fiddler,由Fiddler进行转发,这样所有的网络数据都经过Fiddler,Fiddler就能截获这些数据,实现网络数据的抓包。

    Fiddler下载安装:https://www.telerik.com/fiddler

    Fiddler基本界面如下

    4.Fiddler使用

      Fiddler的使用呢,一般不需要什么配置,但是我们必须要了解一下,会话刘表里面每列都代表什么

    #:顺序号,按照抓包的顺序从1递增

    Result:HTTP状态码      

    Protocol:请求使用的协议

    HOST:请求地址的主机名或域名

    URL:请求资源的位置

    Body:请求大小

    Caching:请求的缓存过期时间或者缓存控制值

    Content-Type:请求响应的类型

    Process:发送此请求的进程ID

    Comments:备注 

    Custom:自定义值

    Fiddler抓到的每个数据包都是可以查看的,选择请求的数据包后,点击右侧列表中的Inspectors(此标签心啊是的是一些嗅探信息,还包含一些字子标签),可以查看详细的请求、响应等数据信息。(Statistics标签显示的是一些页面统计信息)

  • 相关阅读:
    ORM和JDBC
    四种会话跟踪技术以及jstl介绍
    GC、进程和线程的定义
    数组和链表的理解,及各自的优缺点
    JSP和Servlet及浏览器与tomcat交互过程
    多线程、同步实现方法及Error和Exception的区别与联系
    Eclipse创建一个普通maven项目详细步骤
    Eclipse创建一个动态maven项目详细步骤
    Myeclipse项目出现红叉解决方案
    数据结构和算法 — 平衡二叉树的实现
  • 原文地址:https://www.cnblogs.com/cczyx/p/8541393.html
Copyright © 2020-2023  润新知