抓取动态网页

　　由于ajax技术，很多网页的内容都是动态加载的，而spider抓取网页信息一般是跳过js加载的，下面记录一下前几天抓取百度地图页面的方法，以做备忘。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows.Forms;//控制台程序利用WebBrowser控件实现
using System.Threading;
using System.IO;
  
 namespace ConsoleApplication2
 {
     public class Program
     {
         [STAThread]//控制台程序设置STAThread标记。
         static void Main(string[] args)
         {
             string url = "http://map.baidu.com/?newmap=1&ie=utf-8&s=s&wd=宁波市 阿里山路"; 
             WebBrowser browser = new WebBrowser(); 
             browser.ScriptErrorsSuppressed = true;  
             browser.Navigate(url); 
             while (browser.ReadyState != WebBrowserReadyState.Complete)
             {
                 Application.DoEvents();//让操作系统执行其他的事件
             }
             var htmldocument = (mshtml.HTMLDocument)browser.Document.DomDocument; //添加Micorsoft.mshtml的引用
             string gethtml = htmldocument.documentElement.outerHTML; 
             //写入文件
             using (StreamWriter sw = new StreamWriter("d://1.html"))
             {
                 sw.WriteLine(gethtml);
             } 
             Console.WriteLine("html 文件 生成！"); 
             Console.Read();
         }
     }
 }