简单爬虫R实现
1、广度优先搜索策略
网页的结构通常是一个页面包含正文和多个链接，这些链接大部分是域内链接，但也含有域外链接。通过对这些链接进行遍历，一层一层地搜索就可以搜索到所有页面。
如图，网页结构已经很好的显示了一种图的层次结构。在这种图的结构中，简单地实现遍历，我们就可以采用两种遍历方式，广度优先和宽度优先搜索。形象的说，广度优先就是一层一层的搜索，先搜索父节点，然后搜索父节点的所有子节点，再搜索后面的。宽度优先呢，就是一条路走到底，然后再回过去继续。
很明显，广度优先就是利用队列的思想，宽度优先就是利用栈的思想了。这里谈谈，怎么利用广度优先思想搜索页面。
如图显示了页面进入队列的情况，每次搜索一个页面后，就提取页面所有的链接。将这些页面加入到队尾。搜索网页时，就从队首出去一个页面的url。
但仅仅这样是不够的，网页并非是树形结构，而是一个加权有向图。因此，就存在如下的一些问题：
◎环路问题
◎权重衡量的问题
针对环路问题，比较容易解决，就是利用一张hash表记住已经访问过的页面。但是这张hash表却会随着访问的增长越变越大，大到hash表已经几乎失去hash的优势了。
对于权重衡量的问题解决就很复杂了，这里从两个方面提供策略。
1、 链接的内容，从链接的内容着手可以很方便的解决权重问题。一是通过锚文本的内容相关性解决，如果访问的是一个java开发的网站，而锚文本却是一个心理学的内容，一般情况是没多大关系的。二是通过链接内容来分辨，链接的英文字符应该跟本站主题有一定程度的相似性，但链接文本不太好分辨，很多网站的域名或是目录、文件名都没多大规则。三是可以忽略掉一些链接，如图片的链接，很多广告都是这类链接。
2、 链接-页面之间的相关性。看看Google的pagerank算法，这里不作过多的介绍。网站的页面被分为两种，中枢和权威。中枢是一个枢纽，会指向很多的权威页面。而权威则是由多个中枢指定的页面。
2、准备工作
好了，回到正题，这里主要讲一下通过R语言实现网络爬虫。不过这里实现的爬虫不是像Google这样的广义的爬虫，而是基于某一个主题的爬取。这里是心理学方面的。针对不同的爬取需要，可对爬虫策略进行相应的变换。从应用的角度我们可以大致的将爬虫划分为如下几个模块，如图：
模块分析
1、 数据库模块配置
Windows下配置DNS的数据源，配置过程略。
数据库及表的创建（本例中）
mysql> create table pagetext(
-> href varchar(30) primary key,
-> text text
-> );
2、主题词获取
下载主题词库，然后从外部导入
文本相关度求法à对文本进行分词之后，与主题词进行匹配，看看存在多少个主题相关的词汇，大于k值则表示与主题相关。
3、代码
library(XML) library(RODBC) library(hash) library(rJava) library(Rwordseg) ######################################## # 模块一，建立主题词库，以数据框的形式保存 ######################################## data=read.table("F:/psychDict.txt", header=T) #包含主题词的个数 dataLen=length(data[,1]) countFun=function(vector) { count=0; #此处需要优化，在R里面时间也太长了吧 for(i in 1:length(vector)) { for(j in 1:dataLen) { if(vector[i]==data[1,]) { count = count+1 break } } } return(count) } ######################################## # 模块二、爬虫流程模块 ######################################## minCorCount=10 #主题词汇最少个数 #建立一个hash表，保存已经访问过的url closedH=hash() #将初始链接加入队列，我们用一个向量来模拟队列 urlQueue=c("http://www.baidu.com/") for(time in 1:100) { #取出队头，下载页面 page=htmlParse(urlQueue[1]) #提取正文 text=xmlValue(xmlRoot(page)) #去掉非中文字符 text=gsub("[^u4e00-u9fa5]","",text) #检测正文内容是否相关 textV=segmentCN(text) textCor=countFun(textV) #如果相关，则将其加入数据库 if(textCor>=minCorCount) { sqlAddpage(urlQueue[1],text) } #获取所有链接 links=getNodeSet(page,"//a") #遍历每个链接节点 for(i in 1:length(links)) { #提取链接href href=xmlGetAttr(links[[i]],"href") #提取锚文本 linkText=xmlValue(links[[i]]) #如果锚文本主题相关，则将其加入队列 linkV=segmentCN(linkText) corCount=countFun(linkV) if(corCount>0) { #如果这个链接不在close表里面 if(closedH[[href]]==NULL) { #加入到队列 urlQueue=c(urlQueue,href) } } #如果不相关，则将其加入hash表中 else { .set(closedH,keys=href,values=linkText) } } #将遍历过的URL加入close表并且从队列里面删除 .set(closedH,keys=href,values=linkText) urlQueue=urlQueue[-1] } ######################################## # 模块三、数据库访问模块 ######################################## #将正文加入数据库 sqlAddPage=function(href,text) { channel=odbcConnect("mysqldata",uid="root",pwd="chenzhi2014") sql=paste("insert into pagetext values('",href,"','",text,"')") #建议数据保存使用这种简单的方式 sqlQuery(channel,sql) close(channel) }
4、改进地方
上述有很多地方都是需要改进的，下面列出几个。
l 主题词汇词典的表示，一般词典都是通过2字hash索引建立的，在R语言里面可以使用hash类直接建立索引，这其实是一个必须改动的地方，不然会非常非常慢。
l 文档与主题的相似度求法，这里直接给的一个阈值恒定，可以利用相关度的概率论公式进行求解。
l 还有之间说过的 hash表的问题，如何解决hash表无限膨胀的问题。