说起爬虫你一定想起:Scrapy,没用过这个东西,不过从Google,看起来很专业的,由于工作需要,偶尔也会从网上抓取一些数据,之前用的是beautifulsoup,我这个人其实也有点强迫症,一定要知道范围,优劣,那么问题来了?两个东西的范围是什么?以及那个更好?
直接Google你可以得到答案
原来scrapy是爬虫框架,beautifulsoap只是解析库
我们来看看要想使用scrapy要知晓正则还有xpath这两个语言,正则用来处理字符串,xpath则用来处理选择xml文档,python也有专门的xpath模块,你可以到官方网站看到scrapy有一个整套的流程让你做爬虫这件事情
beautifulsoap使用对象等方式来映射这个问题
由于项目需求比较简单,那么还是使用beautifulsoap好了