轻量级爬虫框架
2018-02-12
1【转】设计和实现一款轻量级的爬虫框架 【代码】
- 调度器(Scheduler):是队列,保存请求队列和响应队列
- 下载器(Downloader):通过请求队列中的请求拉数据,把结果保存到响应队列
- 爬虫(Spiders):对响应队列中响应通过css(根据不同网站配置)来获取需要的内容和url,需要的内容放到管道,url放到请求队列。
- 管道(Pipeline): 负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。
- 引擎(ElvesEngine):流程控制