1.环境搭建
2.选择需要的.whl文件下载，一般选择最后的，感觉意思是最近更新的包，以下是.whl文件下载链接地址：
http://www.lfd.uci.edu/~gohlke/pythonlibs/
1.python：表示包文件。
2.whl 格式：这是一个压缩包，在其中包含了py文件，以及经过编译的pyd文件。
这个格式可以使文件在不具备编译环境的情况下，选择合适自己的python环境进行安装。
安装方法如下
进入命令行输入：pip install xxxx.whl
升级方法如下
进入命令行输入：pip install -U xxxx.whl
因为这个Scarpy是依赖这个Twised这个的 所以可以安装这个whl 文件 Scarpy依赖环境
E:DevelopScripts 这个目录下 cmd pip install 安装
还有一种方法是安装 visualcppbuildtools_full 不过这个安装可能有点久
pip install scrapy
然后找到相应的 whl Twised.whl 安装就好了 去到对应的路径安装
2.基本使用
因为不同于Django，flask 新建项目有选择的 所以我们只能通过命令来创建
scrapy startproject first-scrapy
创建一个爬虫 scrapy genspider 爬虫名 爬虫的地址 baidu baidu.com
-
-
allowed_domains: 它包含了蜘蛛抓取的基本URL；(只认定这个域名)
-
start-urls: 蜘蛛开始爬行的URL列表；
-
parse(): 这是提取并解析刮下数据的方法；
运行爬虫 scrapy crawl 爬虫名
3.数据提取
第一步一定要记得修改User-Agent
不加这个 .extract返回一个unicode字符创 Selector返回的是选择器 为什么会返回的是选择器呢？这样还可以继续Xpath筛选
利用框架如何快速的爬取资料：先创建scrapy项目 设置请求头User-Agent 设置url
利用Scrapy自带的Xpath选择器筛选 输出即可 这是最简单的 输出到控制台
既然可以输出到控制台那么其实保存都文件也容易
json.cn
.csv 是一种表格的形式 可以用excel打开
在哪了提取这些数据 在response啊 可以直接
scrapy crawl zhongheng -o book.json
4.如何推送到 pipeline
通过yield
然后item接受
打印item 但是和在spider中的输入输出不一样呀 并没有打印这个item 没有白色的日志
在setting中打开ITEM_PIPELINES 他是一个字典，前面是item_pipeline路径，数字表示优先级
“w”会覆盖以前的信息 “a”会追加
有一个问题是：文件会重复开启 如何让文件只开启一次呢
这就是利用pipeline保存我们数据的问题
在item模板中 无论什么数据类型
都可以用 scrapy fielter
这回推送的Item中的类对象 还是通过yield推送 所以还要记得转字典，也要记得转字符串
6.Scrapy 的细节
可以爬取 不同的网页，不同类型的网页，只需要写一个spider就好了。
但是我要怎么处理筛选呢？ 通过response的url来判断 这是广度爬取
还有一个深度 一种爬虫方式。就是先遍历完左边的再慢慢的推到右边
小说练习
1.第一种找url规律的方法 看是否递增啥的
2.将所有的url都拿出来 挨个去访问
有一个叫文件流的东西，就是当只有内存的满了才会存到文件中
那怎么让它实时的存储呢 那就要用flush了
访问的间隔 download_delay = 3
第一部分完了
大概的知道这个框架的运行流程了，也知道怎么用xpath了也可以连续的
爬取了，如何推送，如何的保存这些数据。这应该是小的一部分吧
在继承与CrawlSpider中 restrict 提取到那个标签就可以了
创建新的spider 用 -t crawl 选择使用这个模板
copy xpath 这么使用吗