scrapy vs requests+beautifulsoup
- scrapy是框架，requests+beautifulsoup是库
- scrapy框架中可以加入 requests+beautifulsoup
- scrapy 基于 twisted，性能最大优势
- scrapy内置 css + xpath selector 非常方便
分布式爬虫使用技术有哪些？
requests + scrapy
互联网有哪些类型网页？
静态网页 -- css, js,
动态页面 --
webservice(restapi) -- 动态填充
爬虫有哪些作用？
- 搜索引擎 – 百度、谷歌、垂直领域
- 推荐引擎 – 今日头条
- 机器学习的数据样本
- 数据分析（股票、舆情）