作者：finallyliuyu (转载请注明作者：finallyliuyu,出处：博客园)
从事网络数据抓取采集从本科毕设算起已有一年多的时间，最开始是针对静态网页，写正则表达式，从网络上抓取信息。但是随着工作的深入，
发现很多网页单单用正则表达式并不能完成抓取工作，比如很多网页的下一页链接是由JavaScript函数生成的比如
<li><a href="#" onclick="javascript:gotoPage('2')">2</a></li>这样的网页，即便你用正则表达式，提取到了href也无法获得下一页链接。
另外 如果url中还有“#”字段的，用httpresponse,httprequest获取的网页源码流与你在浏览器中所看到的页面视图也是不同的，因此单单用正则表达式，则处理起还有js脚本的动态网页就显得力不从心了。
怎么办？
可以采用DOM+正则+浏览器组件来解决上面的问题。
DOM （Document Object Model），是一个接口标准，该接口是将html网页解析成为树的格式，关于DOM的教程，请见：http://www.w3.org/DOM/ 虽然上面讲的是JavaScript的 DOM 接口函数，但是由于DOM是一个接口标准，其他语言实现的DOM接口也是大同小异的。
正则表达式：在完成文本匹配方面有着不可或缺的作用，这个powerful的工具，DOM是无法取代的。
浏览器组件： 包含解释JS语句的功能，有了浏览器组件的帮忙，我们的工作会更加省力（另外：园子里有网友建议什么Xpath,webrequest等等，没有用过，如果有人在这方面比较熟悉不妨交流下）
本功能采用VS2008 C# Winform 平台
在此平台下调用正则要在程序的头部加入声明：
using System.Text.RegularExpressions;
调用DOM组件，需要在工程的引用中加入Microsoft.mshtml
浏览器组件用的是webbrowser
首先我们要在程序中构造一个简单的浏览器，要有一个combobox列表框（显示当前网页的URL），前进和后退按钮，控制浏览器刷新视图 实现代码如下：
程序中实现简易浏览器的前进和后退功能
{
string url = comboBox1.Text.Trim();
webBrowser1.Navigate(url);
}
private void btnBack_Click(object sender, EventArgs e)
{
webBrowser1.GoBack();
}
光有前进和后退还不够，我们希望当浏览器视图刷新后，combobox里面的URL也跟着刷新，所以要再给浏览器添加一个Navigated事件，更新combobox显示的文本。代码如下：
{
comboBox1.Text = webBrowser1.Url.ToString();
}
这还不够，当你实现上述代码时你会发现，你点击webbrowser里面的链接时，会在本地IE中显示新网页，所以我们还需要添加一个NewWindow事件代码如下
webbrowser NewWindow
{
e.Cancel = true;
if (webBrowser1.Document.ActiveElement != null)
{
webBrowser1.Navigate(webBrowser1.Document.ActiveElement.GetAttribute("href"));
comboBox1.Text = webBrowser1.Document.ActiveElement.GetAttribute("href");
}
}
实现了如上代码，那么程序中就配置好了一个简易的IE浏览器了。剩下的问题就是如何设计爬虫逻辑，形成自动爬虫机器人了（这里声明一下：本篇博文仅提供一个自动爬虫机器人的框架性思路，至于如何捕获具体的网页信息块儿BOI（block of interest）还需要根据网页的具体情况配置不同的模板。
为了方便大家理解，下面给出我的任务需求
一级索引页面包括若干指向二级索引页面的链接，二级索引页面又包含若干指向正文页的链接，我们的目的是从一级索引页获取指向二级索引页的链接，并且遍历所有二级索引页，提取出其指向正文的链接，保存下来。 其中难点在于一级索引页指向的是二级索引页的首页，二级索引页还有若干后续页。二级索引页的首页以及后续页上都有指向正文页的链接。可以这么打个比方，比如一个小论坛（可以视为一级索引页） 有三个板块 生活（视为二级索引页），美食，IT。不同板块内部又分了N多页，每个页面上都有正向具体内容（正文页）的链接。
所以，实现需求需要在二级索引页的首页进行向下翻页。下面给出二级索引页体现链接到下一页的形式：
或者：
并且，所有的URL 都是用javascript函数生成的，这样就没有办法用正则来解决了。
我的思路是这样的，定位当前页，用DOM 定位当前页下一页的anchor并且模拟点击。
方法是首先定位当前页面的页码（这个不难办到，因为所有的页码链接信息在一个块中，并且当前页面对于当前页面没有链接），然后取出当前页面的所有页码，并且按照从大到小排序，
并且比较curpageId+1与当前页面最大页码之间的关系，如果curpage+1<<maxPageId,则说明在当前页面能够定位到当前页的下一页；反之，就看是否有还有Next的aTag,如果有则Next就是当前页面的下一页，如果不存在含有Next的aTag,则说明已经到了尾页。
完成上面的功能，最复杂的部分是处理Webbrowser的异步更新问题，在网上找了若干资料，觉得讲得比较好的还是：http://www.hackpig.cn/post/28.html
本文的方法就是参照了链接中的博文内容，并进行改进。 下面上个图片，说一下我的程序的工作机制
实际工作中仅用到了两个按钮，journapmap 和buildwokflow
按下journalmap,则获取了一个全局数据结构，存放各个二级索引页的首页地址
按下buildworkflow，则爬虫开始自动遍历所有二级索引页的首页地址，翻页爬取正文页的URL
在工作中，要先按journalmap按钮，提示二级索引页首页地址提取出后，在按下buildworkflow按钮，让程序自动工作。
为了保证程序运行逻辑，为窗体声明四个信号变量
public bool mysignal2;
public bool loading;//工作流按钮与webbrowser进行交互的通信按钮
public bool subloading;
并做如下初始赋值：
信号变量初始赋值
{
InitializeComponent();
mysignal1 = false;
mysignal2 = false;
loading = true;
subloading = true;
issuesMap = new List<string>();
}
下面给出BuidWorkFlow和webbrowser.documentcompleted的代码，看看这两者是如何交互工作的
工作流按钮代码，点击此按钮，则爬虫自动工作
{
mysignal1 = true;
List<ArticlePage> arListCurrentPage;
foreach (string s in issuesMap)
{
loading = true;
string tmpurl = s;
webBrowser1.Navigate(tmpurl);
while (loading == true)
{
Application.DoEvents();
}
arListCurrentPage = GetArticlePageInfoFromCurrentDirpage();
if (arListCurrentPage != null)
{
InsertTitleUrlToDataBase(arListCurrentPage);
}
mysignal2 = true;
while (AnchorNextPage())
{
subloading = true;
while(subloading)
{
Application.DoEvents();
}
arListCurrentPage = GetArticlePageInfoFromCurrentDirpage();
if (arListCurrentPage != null)
{
InsertTitleUrlToDataBase(arListCurrentPage);
}
}
mysignal2 = false;
//获得当前页面的下一页链接
}
}
webbrowserCompleted更新信号
{
if (webBrowser1.ReadyState ==WebBrowserReadyState.Complete)
{
if (mysignal1)
{
if (!mysignal2)
{
loading = false;
}
else
{
subloading = false;
}
}
}
}
解释一下 btnworkflow和webbrowser交互工作的原理。 按下btnworkflow按钮，mysingal1的值就为真，这时候 webbrowser文档加载完毕后给loading赋值为假，使btnworkflow循环后面的代码得以执行，即将二级索引页首页中所包含的正文URL提取出来保存到数据库，之后mysignal2的值为真，这时候，webbrowser文档加载完毕后给subloading赋值为假，使得btnworkflow中子循环得以不断运行，周而复始地完成提取当前页正文URL链接，翻到下一页，直到没有下一页可翻了，btnworkflow的子循环退出，mysignal2被赋值为假，webbrowser文档加载完毕后更新loading为假，使得下一个二级索引首页的内容能够提取出来。
几点要说明的是：我在完成此功能的时候，参考了网络上很多代码片段，很多的代码片段在webbrowser_documentcompleted函数中，完成解析内容，获取下一页链接，翻页的代码。这样做
很容易出现信息提取重复（即一个页面提取了两到三次）。
最后给出程序中利用DOM点击下一页的代码:
点击当前页下一页的函数
{ bool rstStatus=false;
.......中间的代码是利用正则表达式和DOM函数（如GetElementByTagName,GetElementById等）定位到当前页的下一页链接
if (htmlElemNext != null)
{
mshtml.IHTMLElement anchor = (mshtml.IHTMLElement)htmlElemNext.DomElement;
anchor.click();//模拟点击
rstStatus=true;
}
return rstStatus;
}