我们在做采集软件的时候
有些网站通过直接分析html文本是很麻烦的事情
在利用WinForm编程的情况下
有一种更好的方式当然是分析HtmlDocument
然而,这HtmlDoucment并不能直接创建
它必须由 WebBroswer控件Navigate生成一个页面后
才能取得wb.HtmlDocument
然后就可以对HtmlDocument的各元素、标签进行分析。
事实上,在采集的时候
并不是采集只会采集单个页面
这样的话,在主窗体中就可以完成
譬如采集一些列表页面,有N多个页
那么,一个循环下去,
用WebBrowser去响应,那就会导致假死
这时候,我们肯定会想到用多线程去做这件事情
C#的多线程,
大家应该都知道,有STA,MTA两种模式
然而,WebBrowser控件却有一个不好的特点
那就是:它只支持多线程STA模式
例如下面的代码,
tread.SetApartmentState(ApartmentState.STA);
tread.Start(url);
{
string url = obj.ToString();
WebBrowser wb = new WebBrowser();
wb.ScriptErrorsSuppressed = true;
wb.Navigate(url);
wb.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(wb_DocumentCompleted);
}
需要分析WebBrowser产生 的HtmlDocument时,必须在事件DocumentCompleted里面去操作
只有这时候,WebBrowser才算加载完成
不过,这只是一个陷阱!!!!
WebBrowser有一个特性,那就是在多线程STA的时候,根本就不等到DocumentCompleted的执行
也就是无法再进行后面的操作!!!
这样的话,我们该如何办呢?
也许有人会想:wb.Document.Write(string)方法,如下:
{
string url = obj.ToString();
WebBrowser wb = new WebBrowser();
wb.ScriptErrorsSuppressed = true;
wb.Document.Write(htmlcode);
//执行分析操作
}
//WebClient取网页源码
private string GetHtmlSource(string Url)
{
string text1 = "";
try
{
System.Net.WebClient wc = new WebClient();
text1 = wc.DownloadString(Url);
}
catch (Exception exception1)
{}
return text1;
}
但这时候,我们会发现,wb.DocumentText总是没有的
当时我也很郁闷,搜索园子里的文章与MSDN,都是可以用DocumentText赋值的
但也在网上发现了很多说操作后没有结果的
经过努力搜索
在园子里发现了一篇有用的文章里提到的一个例子
经过测试后发现
WebBrowser必须经过Navigate后才会产生Document
于是忽,终于可以实现了多线程下面的操作了
最终代码如下
{
Thread tread = new Thread(new ParameterizedThreadStart(BeginCatch));
tread.SetApartmentState(ApartmentState.STA);
tread.Start(url);
}
private void BeginCatch(object obj)
{
string url = obj.ToString();
WebBrowser wb = new WebBrowser();
wb.ScriptErrorsSuppressed = true;
//在这里Navigate一个空白页面
wb.Navigate("about:blank");
string htmlcode = GetHtmlSource(url);
wb.Document.Write(htmlcode);
//执行分析操作 ……(略)
}
//WebClient取网页源码
private string GetHtmlSource(string Url)
{
string text1 = "";
try
{
System.Net.WebClient wc = new WebClient();
text1 = wc.DownloadString(Url);
}
catch (Exception exception1)
{}
return text1;
}
当然,在线程里面处理每个结点与数据库操作的时候,可以用ThreadPool
这样效果与性能可能好一些
希望此文对有大家有所帮助~:)