1.新建项目名称
2.环境添加scrapy
3.打开cmd命令, 进入将要把代码放入的目录
输入
scrapy startproject article #最后一位(spider)为模块名,可随意取
最终,项目目录结构
4.执行某一个spider
scrapy crawl jobbole#文件ming
5,设置 ROBOTSTXT_OBEY = False
6.调试命令
scrapy shell 被测地址
7.新增一个spider
scrapy genspider zhihu www.zhihu.com