OWASP zap 这个开源工具还是不错的。里面的爬虫功能是我最需要的。想在linux环境下使用,采集一些url地址。但是全网也没有搜到相关文章。
自己研究了下使用方法,分享出来
第一步下载linux版本
https://www.zaproxy.org/download/
按照向导一步步安装。
之后启动服务
/usr/local/bin/zap.sh -daemon
查看/root/.ZAP/config.xml下apikey的值
<api> <key>***</key> </api>
此时api的功能就都可以用了
执行爬虫api
http://127.0.0.1:8080/JSON/spider/action/scan/?apikey=***&url=https://test.baidu.com&maxChildren=5&recurse=&contextName=&subtreeOnly=
获取爬虫结果
http://127.0.0.1:8080/JSON/spider/view/allUrls/?apikey=****
就这么简单