1.写一个爬虫，需要做很多事情。比如：发送网络请求，数据解析，数据存储，反扒虫虫机制（更换IP代理，设置请求头等），异步请求等。这些工作如果每次都要从零开始写的话，比较浪费时间。因此scrapy吧一些基础的东西封装好了，在他上面写爬虫可以变的更加高效（爬去效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用scrapy框架来解决。
2.scrapy框架模块功能：Scrapy Engine（引擎）：Scrapy框架的核心部分。负责在Spider和ItemPipeline，Downloader,Scheduer中间通信，传递数据。
3.Spider（爬虫）：发送需要爬取的链接给引擎，最后引擎吧其他模块请求回来的数据在发送给爬虫，爬虫就去解析想要的数据。这个部分是我们开发者自己写的，因为要爬取哪些链接，页面中的哪些数据是我们需要的，都是由程序员自己决定。
4.Scheduler(调度器)：负责接收引擎发送过来的请求，并按照移动的方式进行排列和整理，负责调度请求的 顺序等。
5。Downloader(下载器)：负责接收引擎传过来的下载请求，然后去网络上下载对应的数据在交还给引擎。
6.Item Pipeline(管道)：负责将Spider（爬虫）传递过来的数据进行保存。具体保存在哪里，应该看开发者自己的需求
7.Downloader Middlewares(下载中间件)：可以扩展下载器和引擎之间通信功能的中间件
8.Spider Middlewares(Spider中间件)：可以扩展引擎和爬虫之间通信功能的中间件
9.创建项目： scrapy startproject项目名
文件认识：
scrapy.cfg项目的配置信息，主要为scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在setting.py文件中）
item.py设置数据存储模板，用于结构化数据如：Django的Model
pipelines:数据处理行为，如：一八百年结构化的数据持久化
setting.py配置文件，如：递归的层数，并发数，延迟下载等
spiders爬虫目录，如：创建文件，编写爬虫规则