一、安装
1、pip install scrapy
二、新建项目
2、scrapy startproject ArticleSpider
如果报错如下
则是查找路径有误,需要在/etc/profile配置如下路径:
export LD_LIBRARY_PATH=/usr/local/lib
然后重新加载配置:source /etc/profile
三、调试
使用scrapy shell http://www.jobbole.com/caijing/gsyw/166611.html进行调试(避免每次调试都请求爬取一次接口,效率低下)