原文：https://blog.csdn.net/ssw_1990/article/details/51254227
提到Python与网络爬虫，可能会想到urllib，urllib2，BeautifulSoup，Scrapy等类库，本文主要总结Scrapy与网络爬虫。Scrapy是一个功能强大的网络爬虫类库，通过命令pip install scrapy进行安装，爬取的海量数据可以通过MongoDB进行存储，有了想要的数据集后就可以对其进行分析挖掘。
1. 实现一个简单的Scrapy网络爬虫
先用Scrapy实现一个采集网页的title字段，以对Scrapy有个直观的印象。
（1）新建wikiSpider项目
scrapy startproject wikiSpider
生成的项目结构，如下所示：
─Scrapy
└─wikiSpider
│ scrapy.cfg
│
└─wikiSpider
│ items.py
│ pipelines.py
│ settings.py
│ __init__.py
│
└─spiders
__init__.py
说明：scrapy.cfg：项目配置文件；wikiSpider/items.py：项目items文件；wikiSpider/pipelines.py：项目管道文件；wikiSpider/settings.py：项目配置文件；wikiSpider/spiders：放置spider的目录。
（2）创建Article类
在items.py文件中，定义Article类，如下所示：
from scrapy import Item, Field
class Article(Item):
title = Field()
（3）创建articleSpider.py文件
在wikiSpider/wikiSpider/spiders/文件夹中创建一个articleSpider.py文件，如下所示：
from scrapy.selector import Selector
from scrapy import Spider
from wikiSpider.items import Article
class ArticleSpider(Spider):
name = "article"
allowed_domains = ["en.wikipedia.org"]
start_urls = ["http://en.wikipedia.org/wiki/Main_Page",
"http://en.wikipedia.org/wiki/Python_%28programming_language%29"]
def parse(self,response):
item = Article()
title = response.xpath('//h1/text()')[0].extract()
print("Title is: "+title)
item['title'] = title
return item
（4）运行Scrapy网络爬虫
在wikiSpider主目录中运行ArticleSpider，如下所示：
scrapy crawl article
这个爬虫首先进入start_urls中的两个页面，然后收集信息，最后停止运行。Scrapy为爬虫的start_urls属性中的每个URL创建了一个scrapy.http.Request对象，并将爬虫的parse方法指定为回调函数。scrapy.http.Response对象被返回，结果也被反回给爬虫。
如果遇到错误[scrapy] ERROR: Error downloading <GET http://en.wikipedia.org/robots.txt>: u'xd8'，需要设置settings.py文件中的ROBOTSTXT_OBEY = False即可。
2. Scrapy基础知识
Scrapy使用基于XPath和CSS表达式机制从网页中提取数据。Selector有4个基本的方法，分别是xpath()，css()，extract()，re()。
（1）xpath
xpath是Scrapy下快速提取特定信息（比如title，head，href等）的一个接口。常用的表达式和描述，如下所示：
nodename：选取此节点的所有子节点。
/：从根节点选取。
//：从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.：选取当前节点。
..：选取当前节点的父节点。
@：选取属性。
（2）Scrapy shell
Scrapy终端是一个交互终端，供你在未启动spider的情况下尝试及调试你的爬取代码，可以用来测试XPath或CSS表达式，查看他们的工作方式及从爬取的网页中提取的数据。启动终端的命令为scrapy shell <url>。Scrapy终端根据下载的页面会自动创建一些方便使用的对象，如下所示：
crawler：当前Crawler对象。
spider：处理URL的spider。
request：最近获取到的页面的Request对象。
response：包含最近获取到的页面的Response对象。
sel：根据最近获取到的response构建的Selector对象。
settings：当前的Scrapy settings。
3. Scrapy工作原理
Scrapy使用Twisted异步网络库来处理网络通讯。整体架构如下所示：
引擎（Scrapy Engine）：用来处理整个系统的数据流处理，触发事务。
调度器（Scheduler）：用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。
下载器（Downloader）：用于下载网页内容，并将网页内容返回给蜘蛛。
蜘蛛（Spiders）：蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。
项目管道（Item Pipeline）：负责处理有蜘蛛从网页中抽取的项目，主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
下载器中间件（Downloader Middlewares）：位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
蜘蛛中间件（Spider Middlewares）：介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件（Scheduler Middlewares）：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。
4. BeautifulSoup基础知识
参考文献：
[1] 《Python网络数据采集》
[2] Scrapy：http://scrapy.org/
[3] Beautiful Soup：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
---------------------
作者：1000sprites
来源：CSDN
原文：https://blog.csdn.net/ssw_1990/article/details/51254227
版权声明：本文为博主原创文章，转载请附上博文链接！