翻译来自：掣雷小组
成员信息：
thr0cyte，Gr33k，花花，MrTools，R1ght0us，7089bAt，
这个公众号，一定要关注哦，慢慢会跟上面老哥们一起分享很多干货哦~~
标记红色的部分为今日更新内容。
第三章、使用代理、爬行器和爬虫
3.0、介绍
3.1、使用DirBuster寻找敏感文件和目录
3.2、使用ZAP查找文件和文件夹
3.3、使用Burp套件查看和修改请求
3.4、使用Burp套件的Intruder模块来查找文件和文件夹
3.5、使用ZAP代理查看和修改请求
3.6、使用ZAP爬虫
3.7、使用Burp套件爬虫一个网站
3.8、使用Burp套件的中继器重复请求
3.9、使用WebScarab
3.10、从爬行结果中识别相关文件和目录
前言：
第二章也结束了，不知道各位老哥学的怎么样，有问题可以留言，看到就回。最近啥都学，学的脑子乱，准备理清下思路分享一下信息收集，至少目前是我的方法，信息收集再好，也奈何不了各种难题，正所谓信息收集两小时，渗透测试五分钟，GG...
还是要努力学习硬知识，知识就是硬道理！！！
另外，各位老哥需要什么资源的话，可以给我留言，我有的话给你分享。
介绍
渗透测试可以使用不同的方法进行，称为黑、灰和白盒。黑盒是指测试团队除了服务器的URL外，没有关于要测试的应用程序的任何以前的信息;白盒表示团队拥有目标、基础架构、软件版本、测试用户、开发信息等所有信息;灰色盒子是中间的一个点。
对于黑盒方法和灰盒方法，正如我们在上一章中看到的那样，侦察阶段对于测试团队发现应用程序所有者可以在白盒方法中提供的信息是必要的。
继续进行web渗透测试中的侦察阶段，我们需要浏览web页面中包含的每个链接，并记录它所显示的每个文件。有一些工具可以帮助我们自动化和加速这项任务;它们被称为网络爬虫或网络蜘蛛。这些工具根据外部文件的所有链接和引用浏览web页面，有时填写表单并将其发送到服务器，保存所有请求和响应，并为我们提供脱机分析它们的机会。
在本章中，我们将介绍Kali Linux中包含的一些代理、爬行器和爬虫程序的使用，还将了解在公共web页面中查找哪些文件和目录是有趣的。
3.1、使用DirBuster寻找敏感文件和目录
DirBuster 是一款安全工具，通过暴力或者表单进行来发现Web服务器中现有文件和目录。我们将在文中使用它来搜索特定的文件和目录列表。
准备
我们要使用一个文本文件，其中包含我们要用DirBuster来查找的文件列表。
创建一个包含以下内容的文本文件dir_dictionary.txt
怎么做…
DirBuster是一款使用Java语言写的应用程序;它可以从Kali的主菜单或使用dirbuster命令的终端来使用。以下是使用它所需的步骤：
1．找到Applications |03-Web Application Analysis | Web Crawlers＆DirectoryBruteforcing | Dirbuster.(注：我的Kali按照这个路径就没找到，但是你可以在终端下输入 dirbuster 打开这个软件)
2．在DirBuster窗口中，将目标URL设置为http://192.168.56.11/.
3．将线程数设置为20，以获得不错的测试速度。
4．选择基于列表的暴力破解，然后单击“浏览”。
5．在浏览窗口中，选择我们刚刚创建的文件（dir_dirtionary.txt）
6．取消选中Be Recursive选项.
7．对于这个配置，我们将其余选项保留为默认值：
8. 点击开始
9. 如果我们转到结果选项卡，我们将看到DirBuster在我们的字典中找到了至少两个文件：cgi-bin和phpmyadmin. 响应码200表示文件或目录存在并且可以被读取。Phpmyadmin是一个基于Web的mysql数据库; 查找一个带有tis名称的目录告诉我们服务器中有一个数据库管理系统（DBMS），它可能包含有关应用程序及其用户的相关信息：
它是如何工作的…
Dirbuster是一种履带式和粗暴式的混合物; 它遵循它找到的页面中的所有链接，但也为可能的文件尝试不同的名称。这些名称可能位于与我们使用的文件类似的文件中，也可能由Dirbuster使用Pure Brute Force选项自动生成，并设置字符集以及生成的单词的最小和最大长度。
为确定文件是否存在，DirBuster使用服务器的响应代码。最常见的响应如下所示：
-
200 ok：文件存在
-
404找不到404文件：服务器中不存在该文件
-
301 301永久移动：这是重定向到给定的URL
-
401 Unauthorized:访问此文件需要身份验证
-
403 Forbidden：请求有效但服务器拒绝响应
另请参阅
dirb是kali linux中包含的cmmand-line工具，它还使用字典文件强制浏览服务器以识别现有文件和目录。要查看其语法和选项，请打开终端并输入#dirb命令。