打造轻量级可视化数据爬取工具-菩提
https://mp.weixin.qq.com/s/TBYcWxT6MSAgI6Y4g53TNA
scrapy 是一个非常优秀的开源框架,但是需要编码,使用技术门槛较高,跟我们的初衷不符;
portia 是应该是第一个开源的可视化 web 数据爬取工具,想法非常好,但是仅支持静态网页,没有对动态网页提供支持,在几乎全是动态网页的今天明显不能完成大多数页面的提取;
八爪鱼是国内使用量最大的商业数据爬取工具之一,提供客户端,其免费版无法做到大规模、7*24 小时的持续爬取,无法满足工业化应用;
-
参考https://blog.csdn.net/Tencent_TEG/article/details/103707723
-
没有找到可用的入口
后羿采集器 http://www.houyicaiji.com
前谷歌技术团队倾力打造,基于人工智能技术,只需输入网址就能自动识别采集内容
- 看起来不错的样子,收费~
- 果然优秀的东西都不免费