框架
-具有很多功能且具有很强通用性的一个项目模板
环境安装:
Linux： pip3 install scrapy Windows： a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl d. pip3 install pywin32 e. pip3 install scrapy
创建一个工程
scrapy startprobject proName
cd proName
创建爬虫文件:
scrapy genspider spiderName www.xxx.com
执行工程:
scrapy crawl spliderName
持久化存储
基于终端指令:
只可以将parse方法的返回值存储
基于管道指令实现持久化存储的实现流程: