scrapy是python的一个网络爬虫框架，关于它的介绍有很多资料，这里不做过多介绍（好吧我承认我还不是很懂...）。我现在还在摸索阶段，因为用scrapy爬取的第一个网站非常简单，不涉及登陆、验证、翻页、封号等等问题，仅仅是用spiders中抓取页面内容，然后在pipelines中存入数据库，所以现阶段了解的东西还不多，在此仅将自己这段时间的学习成果进行总结分享。
一、scrapy框架安装
（一）需要安装东西
1、python安装：我用的版本是2,7,8
2、pywin32安装——我不明白在Scrapy中它是干嘛使的/(ㄒoㄒ)/~~
3、twisted安装
Twisted是用Python实现的基于事件驱动的网络引擎框架，Scrapy使用了Twisted异步网络库来处理网络通讯。
（1）安装zope.interface
（2）安装pyopenssl
（3）安装twisted
4、安装lxml
5、安装scrapy
（二）windows系统下的安装
1、其他包安装
在windows系统下，除了scrapy本身，其余的包都可以找到exe文件，运行傻瓜安装即可，有一点需要注意，如果电脑本身安装了多个版本的python，在安装的时候选择指定python的路径。
2、scrapy安装
（1）下载源码——进入源码——python setup.py install
（2）安装pip（python的一个包安装工具）—— pip install Scrapy
3、附我的安装包网盘下载地址：http://pan.baidu.com/s/1dExYh2p
（三）linux系统下的安装——Centos
1、安装方法和命令
1）系统软件安装
（1）yum——Centos下的软件包管理器——yum install python2.7
安装系统需要的软件包时，需要用到这个命令，但是有一点，yum会自动安装最新版。
（2）wget——获取软件包，之后可以进行解压，然后手动安装（此种方式也可以用于python库的安装）
wget -c http://www.python.org/ftp/python/2.6.5/Python-2.6.5.tar.bz2
2）python库安装
（1）下载安装脚本.py文件（wget方法）——python **.py
（2）下载源码，进入根目录——python setup.py install
（3）easy_install——easy_install Scrapy
（4）pip——用于安装python的相关包——pip install Scrapy
2、安装步骤
1）python安装——python2.7.6
（1）获取安装包：wget http://python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz
（2）解压：xz Python-2.7.6.tar.xz
tar xvf Python-2.7.6.tar
（3）进入源码：cd Python-2.7.6
（4）安装：
配置：./configure --prefix=/usr/local --enable-unicode=ucs4 --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"
安装： make && make altinstall
（5）建立软连接，将系统默认的python指向python2.7：
删除原来的软连接：rm -rf /usr/bin/python
建立新的软连接：ln -s /usr/local/bin/python2.7 /usr/bin/python
现在在命令行输入python，就是默认的2.7版本了
2）esay_install——方便之后的python库安装
（1）方法1：yum install setuptool
我最初用的是这种方法，但是正如前面所述，此种方法默认安装的最新版本(3.*)，它将库安装在了python3中。
（2）方法2：wget
wget --no-check-certificate https://bootstrap.pypa.io/ez_setup.py
python ez_setup.py --insecure（因为此时python的默认的是2.7，所以会安装在2.7下）
之后可以按照python的方式建立easy_install的软连接，因为此时系统中可能装有不同版本的setuptools，指定自己需要的版本。
（3）pip安装——可以利用easy_install 安装一下pip——easy_install pip
注意：pip/easy_install——对应python2
pip3/easy_install3——对应python3
3）安装twisted
（1）安装zope.interface——easy_install zope.interface
（2）安装gcc：yum install gcc -y
（3）安装twisted:easy_install twisted
4）安装pyOpenSSL
（1）依赖：yum install libffi libffi-devel openssl-devel -y
（2）easy_install pyOpenSSL
5）安装Scrapy
（1）依赖：yum install libxml2 libxslt libxslt-devel -y
（2）easy_install scrapy
问题：在最后一步easy_install scrapy时，报了一个错误
Setup script exited with error: command 'gcc' failed with exit status 1????
我怀疑是python-devel的版本问题，可是找了n多资料，也还没有解决/(ㄒoㄒ)/~~
二、Scrapy应用（windows下）
一）新建一个Scrapy项目
进入指定目录，按住Shift键，点击鼠标右键，选择在此处打开命令行：
输入命令：scrapy startproject scrapyLearning--------新建一个项目
tree -/f scrapyLearing 可以查看一下目录结构
（1）spdiders文件夹下的py文件：爬取数据——爬到网页；获取数据
（2）items.py：类似于MVC或者Django框架中的model
（3）pipelines.py：存储数据，spider.py执行完会自动调用pipilines.py，将爬取到的数据存储下来
（4）settings.py：一些配置信息，目前我只是加过pipeline，其他还没有操纵过
二）案例-爬取一个网站的数据，存入到MySql中，代码的部分截图如下（部分名字马赛克了一下...）：
1、整个代码结构
2、item——定义了多了Item，每一个对应一个数据库表
3、spider
运行命令：scrapy genspider spaiderName “***.com”--------- 新建一个爬虫（后两个参数是爬虫的名字和域名）
（1）把定义的那些item都引入进来
（2）start_urls——要爬取的url，因为此网站要爬取的各个url是连续的，所以就用一个循环即可，程序会依次处理每一个url
（3）xpath方法提取页面中的元素
（4）return info，把提取到的数据返回——之后会调用pipeline对数据进行存储
4、pipelines
（1）因为有不同的类型的item，所以首先判断是哪个类型，然后再分别调用不同的处理方法
（2）之后对数据库进行操作
5、settings
指定一下需要用到的pipeline——ITEM_PIPELINES = ['crawler.pipelines.CrawlerPipeline']
以上，就是一个完整的运用scrapy框架进行网络爬取的过程，非常简单，难点在于分析页面结构和对于异常情况的处理。当然，本例子爬取的网站比较简单，像Rules等都还没有用到，日后用到会进一步总结更新。
6、运行爬虫
通过命令： scrapy crawl spiderName