爬虫主要利用基础知识:scrapy vs requests + beautifulsoup
使用scrapy是一个框架,而requests+beautifulsoup都是库
注:webservice(restapi)实际上也是动态网页的一种
PS:垂直领域搜索引擎,特指搜索某个领域的数据,比如汽车、房地产。 推荐引擎
机器学习的数据样本:很多人在研究机器学习,但机器学习需要大量的数据样本,通过爬虫可以获取。
PS:http://www.lfd.uci.edu/~gohlke/pythonlibs/
如果python的一些模块不能pip install成功,可以去这个网址里下载。