一、Web采集介绍
Web采集是从Web中采集大量网页的过程，并且要避免采集重复或无用的页面，采集完的网页需要构建索引，以扩大搜索引擎的索引规模；
web采集通常是由多台机器并行采集；
web采集的必须功能
（1）Web采集器需要识别采集器陷阱（spider traps），比如当采集器访问到某个web服务器的网页时，此网页会生成无限多个网页被采集器采集，从而使得采集器不能跳出；
（2）web服务器都有一个政策，比如服务器每5秒只能访问一次，因此采集器必须遵循这些规则；
web采集的可选功能
1.分布式：采集器有多个节点；
2.即时更新：将原始抓取的网页进行更新；
3.功能可扩展性：可以增加协议；
二、Web采集流程
web采集过程类似于遍历web图的过程;
1.设定一个或多个URL作为种子集合，并放入URL等待池；
2.抽取URL：在URL池中取出一个URL，并在URL池中删除这个URL（如果是连续式采集，则可以不用删，因为以后还会采集此URL进行页面更新）；
3.采集网页；
4.分析网页，并抽取出文本和链接，文本放入索引器，链接首先检查是否已被采集、是否内容相同、是否满足robots.txt文件，如果未被采集、内容不同、满足robot，则放入URL等待池（URL Frontier）（通过shingle方法判断内容重复）,等待被采集；
对于连续式采集，抽取URL后不一定要删除URL池中的，因为以后还会被采集；
Content Seen处理内容重复；
URL Filter处理robots文件的问题；
URL duplication处理URL已采集问题；
web采集器的模块
(1)URL池；
(2)DNS解析器；
(3)抓取模块；
(4)分析模块；
(5)URL去重模块；
web服务器通过拒绝蜘蛛协议（robot exclusion protocol）对采集器进行限制，通过在web目录下放置robots.txt；
在访问web服务器的页面之前，必须先抓取robots.txt文件，放入缓存（加快速度）；
注意：在判定URL是否放入URL池的时候就需要去抓取robots.txt判定，在真正抓取页面之前必须访问robots.txt文件进行判定，因为放入URL池后，robots文件可能会改变；
在URL池取出URL的时候需要考虑不能一直返回相同Web服务器的URL，礼貌问题；
以上是前端队列，当URL放入URL池时，会分配一个优先级，并放入特定的队列；
上图是后端队列，每个队列对应一个主机；
需要保证在采集时后端队列的每个队列不能为空；
Heap的每个元素对应一个后端队列，表示一个web服务器所能再次被访问的最早时间；
分布式web采集
有多个采集器，分布在世界各地；每个采集器
采集器和原来差不多，只是多了主机划分器，并且URL查重模块需要接收其他机器发来的URL；
Host Splitter是主机划分器，宗旨是采集器需要采集的网页是地理位置相邻的web服务器的网页，因此需要有这个主机划分器进行分配URL；
DNS（Domain Name Service）服务器：用来将URL解析成IP的机器；
DNS解析：将URL解析成IP地址；
DNS服务器通常会有多个，因此是分布式的；
DNS解析的时间很长，所以可以通过DNS缓存加快速度；