框架
-具有很多功能且具有很强通用性的一个项目模板
环境安装:
Linux：
pip3 install scrapy
Windows：
a. pip3 install wheel
b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
d. pip3 install pywin32
e. pip3 install scrapy
创建一个工程
scrapy startprobject proName
cd proName
创建爬虫文件:
scrapy genspider spiderName www.xxx.com
执行工程:
scrapy crawl spliderName
持久化存储
基于终端指令:
只可以将parse方法的返回值存储
基于管道指令实现持久化存储的实现流程:
-数据解析 -封装item类 -实例化item类型的对象 -将解析到的数据依次存储封装到item类型的对象中 -将item提交到管道 -在管道中实现io操作 -开启管道