利用backgroundwork----递归读取网页源代码，并下载href链接中的文件

   今天闲着没事，研究了一下在线更新程序版本的问题。也是工作中的需要，开始不知道如何下手，各种百度也没有找到自己想要的，因为我的需求比较简单，所以就自己琢磨了一下。讲讲我的需求吧。自己在IIs上发布了一个网站，这个网站仅仅只是内部使用的，网站的内容就是我的另外一个程序(就叫A程序吧)的打包发布的文件放进去。然后在客户端启动我的A程序之前检查是否有新版本文件发布。如果有，我根据网页源代码的信息和本地文件信息进行比较，决定是否下载。如果有下载，下载完成后执行A程序的.exe文件启动A程序。大致的要求就是这样。

    首先自己发布一个测试网站，也就是简单的在IIS上将我本机的一个文件夹发布出来，具体怎么操作就不做讲解了。得到我的网址：http://localhost/webTest/。这个网站就作为我以后有新版本文件要发布就直接丢进去。   

 

   上面的截图中有几个地方需要注明一下：

   1.是这个文件最后一次编辑日期。

   2.是最后一次编辑时间点。    

   3.是你这个文件的大小。

   4.椭圆部分是一个文件夹。

   前面标题说用递归，就是因为网站中可能存在子文件夹，遇到子文件夹我就要继续跟进去读取源代码获取我要的信息。

   注：网页中有个[to parent Directory]这是他的父文件夹，我们在读取网页源代码的时候要对这部分进行处理

   注：1,2部分是指这个文件最后一次编辑时间，比如说你在本地有个文件你对他进行最后一次的编辑时间2016/8/26 13:15  那不管你把这个文件拷贝或是上传到其他地方，那他的编辑时间始终不会变的。

   大致的情况介绍的差不多了，接下来直接开始我的读取网页下载文件的程序吧！上代码，一如既往，图文并茂的文章才是好文章。

   一、创建一个winform工程。

  

         图(1):工程结构

 

       图(2):winform需要的控件

 图(1)中我添加了两个帮助类：FileHelper.cs/HttpHelper.cs。在后面做详细介绍

 图(2)中1是一个label控件，用来显示正在下载的文件名。2是progressBar控件，winform自带的进度条控件，我觉得还挺好用的。。还需要一个backgroundwork控件

 二：帮助类文件

FileHelper.cs帮助类文件。

 public class FileHelper
 {
      public DateTime ModiDate { get; set; } //最后编辑时间

     public long Size { get; set; }  //文件大小

     public String FilePath { get; set; }  //路径+文件名
 }

HttpHelper.cs

/// <summary>
        /// 获取网页源代码
        /// </summary>
        /// <param name="serverUrl">网址</param>
        /// <param name="listFile">存放下载文件的集合</param>
        /// <param name="listHref">存放子目录集合</param>

        public static void GetHtmlResource(string serverUrl, List<FileHelper> listFile, List<string> listHref)
        {
            #region
            //Uri u = new Uri(serverUrl);
            //string host = u.Host;
            //if (serverUrl.EndsWith("/"))
            //{
            //    //1.获取网页源代码
            //    WebClient wc = new WebClient();
            //    wc.Credentials = CredentialCache.DefaultCredentials;
            //    byte[] htmlData = wc.DownloadData(serverUrl);
            //    string htmlStr = Encoding.Default.GetString(htmlData);
            //    //2.正则找到href属性内容截取
            //    string regMat = @"(?is)<a[^>]*?href=(['""s]?)(?<href>[^'""s]*)1[^>]*?";
            //    MatchCollection mat = Regex.Matches(htmlStr, regMat, RegexOptions.IgnoreCase);
            //    List<string> listHref = new List<string>(); //存放href结合
            //    for (int i = 0; i < mat.Count; i++)
            //    {
            //        string item = mat[i].Groups["href"].Value;
            //        listHref.Add(item);
            //        MatchCollection match = Regex.Matches(htmlStr, "([0-9]{1,})\s\<A\sHREF=""+ item+""", RegexOptions.IgnoreCase);
            //        if(match.Count == 1 && match[0].Groups.Count==2)
            //        {
            //            fileSize.Add(@"http://" + host + item, int.Parse(match[0].Groups[1].Value));
            //        }
            //    }
            //    foreach (var item in listHref) //Match item in mat
            //    {
            //        string url = @"http://"+host + item;
            //        if (serverUrl.StartsWith(url))
            //        {
            //            continue;
            //        }
            //        GetHtmlResource(url, serverFilePath,fileSize);
            //    }
            //}
            //else
            //{
            //    serverFilePath.Add(serverUrl);
            //}
            #endregion

            Uri u = new Uri(serverUrl);
            string host = u.Host;
            if (serverUrl.EndsWith("/"))
            {
                //1.获取网页源代码
                WebClient wc = new WebClient();
                wc.Credentials = CredentialCache.DefaultCredentials;
                byte[] htmlData = wc.DownloadData(serverUrl);
                string htmlTempStr = Encoding.Default.GetString(htmlData);
                //完全用字符串截取的方式得到自己想要的东西
                htmlTempStr = htmlTempStr.Substring(htmlTempStr.IndexOf("<pre>"));
                htmlTempStr = htmlTempStr.Substring(0, htmlTempStr.IndexOf("</pre>"));
                htmlTempStr = htmlTempStr.Replace("<pre>", "");
                htmlTempStr = htmlTempStr.Replace("</pre>", "");
                htmlTempStr = htmlTempStr.Replace("&lt;dir&gt;", "-1"); //把子菜单前面的"&lt;dir&"改为-1，为了跟其他的信息一致有规律
                htmlTempStr = htmlTempStr.Replace("<br>", "#");
                string[] tempStr = htmlTempStr.Split('#');
                ArrayList listStr = new ArrayList(tempStr);
                //移除每个新网页的父级文件夹
                listStr.RemoveAt(0);      
                for (int i = 0; i < listStr.Count; i++)
                {
                    if (String.IsNullOrWhiteSpace(listStr[i].ToString()))
                    {
                        listStr.RemoveAt(i);
                    }
                }
                tempStr = (string[])listStr.ToArray(typeof(string));

                for (int f = 0; f < tempStr.Length; f++)
                {
                    //截取最后修改日期带时间
                    string fileModiTime = tempStr[f].Substring(0, 20); 
                    //截取文件大小
                    string fileSize = tempStr[f].Substring(20, tempStr[f].IndexOf("<A") - 20); 
                    //截取文件路径 
                    string filePath = tempStr[f].Split('"')[1];
                    FileHelper file = new FileHelper();
                    file.ModiDate = Convert.ToDateTime(fileModiTime.Trim());
                    file.Size = Convert.ToInt32(fileSize.Trim());
                    file.FilePath = @"http://" + host + filePath;
                    //如果大小为-1，我就认为是子文件夹，添加到集合中
                    if (file.Size == -1)
                    {
                        listHref.Add(file.FilePath);
                    }
                    else
                    {
                        //添加到要下载的文件集合中
                        listFile.Add(file);
                    }
                }
                //循环我的子文件夹集合
                foreach (var item in listHref)
                {
                    //如果item等于我的serverUrl继续
                    if (serverUrl.StartsWith(item))
                    {
                        continue;
                    }
                    //递归
                    GetHtmlResource(item, listFile, listHref);
                }

            }
        } 

 /// <summary>
        /// 下载文件
        /// </summary>
        /// <param name="serverUrl">文件在服务器的全路径</param>
        /// <param name="localFilePath">下载到本地的路径</param>
        public static void DownLoadMdiFile(string serverUrl,string localFilePath)
        {
            //localFilePath = localFilePath.Replace(".exe.config.xml", ".exe.config");
            if (localFilePath.Contains(".exe.config.xml"))
            {
                localFilePath = localFilePath.Replace(".exe.config.xml", ".exe.config");
            }
            if (localFilePath.Contains(".config.xml"))
            {
                localFilePath = localFilePath.Replace(".config.xml", ".config");
            } 
            //网页中子文件夹是否存在，如果不存在，创建文件夹，存在直接下载文件       
            FileInfo file = new FileInfo(localFilePath);
            if(!file.Directory.Exists)
            {
                Directory.CreateDirectory(file.Directory.FullName);

            }            
            try
            {
                WebClient wc = new WebClient();
                if (!localFilePath.Contains("web.config"))
                {
                    wc.DownloadFile(serverUrl, localFilePath);
                }                
            }
            catch (Exception e)
            {
                throw;
            }
        }

三：banckgroundwork控件
对于这个控件我需要实现他的三个事件。很简单的三个事件，看事件名称就能知道他的意思了

第一个：backgroundWorker1_DoWork

private void backgroundWorker1_DoWork(object sender, DoWorkEventArgs e)
        {
            #region 
            //string installUrl = GetInstallPath();
            //List<string> listFilePath = new List<string>();
            //Dictionary<string, int> fileSize = new Dictionary<string, int>();
            //HttpHelper.GetHtmlResource(installUrl, listFilePath, fileSize);
            //for (int i=0;i<listFilePath.Count;i++)
            //{
            //    if (backgroundWorker1.CancellationPending)
            //    {
            //        e.Cancel = true;
            //        return;
            //    }
            //    double total = listFilePath.Count;
            //    double current = i+1;
            //    int progress = (int)(current / total * 100);
            //    string serverUrl = listFilePath[i];
            //    int size = fileSize[serverUrl];
            //    backgroundWorker1.ReportProgress(progress, serverUrl.Replace(installUrl, ""));                
            //    string localPath = serverUrl.Replace(installUrl, localInstallPath);
            //    if (File.Exists(localPath))
            //    {
            //        FileStream fs = new FileStream(localPath, FileMode.Open);

            //        if (fs.Length != size)
            //        {
            //            try
            //            {
            //                HttpHelper.DownLoadMdiFile(serverUrl, localPath);
            //            }
            //            catch (Exception )
            //            {
            //                throw;
            //            }
            //        }
            //        fs.Close();
            //    }
            //    else
            //    {
            //        HttpHelper.DownLoadMdiFile(serverUrl, localPath);
            //    }
            //}
            #endregion
            string installUrl = GetInstallPath();
            List<string> listHref = new List<string>();//存放子文件夹集合
            List<FileHelper> listFile = new List<FileHelper>();//存放下载文件集合
            HttpHelper.GetHtmlResource(installUrl, listFile, listHref);
            for (int i = 0; i < listFile.Count; i++)
            {
                if (backgroundWorker1.CancellationPending)
                {
                    e.Cancel = true;
                    return;
                }
                double total = listFile.Count;
                double current = i + 1;
                int progress = (int)(current / total * 100);      
                //服务器文件+全路径         
                string serverUrl = listFile[i].FilePath;
                //服务器文件大小
                long size = listFile[i].Size;
                //服务器文件最后修改时间
                DateTime modiTine = listFile[i].ModiDate;
                //backgroundWorker1执行到那个阶段
                backgroundWorker1.ReportProgress(progress, serverUrl.Replace(installUrl, ""));
                string localPath = serverUrl.Replace(installUrl, localInstallPath);
                //判断文件是否存在
                if (File.Exists(localPath))
                {
                    //获取本地文件
                    FileInfo fs = new FileInfo(localPath);
                    //如果服务器文件大小，最后修改时间和本地文件进行对比，是否有变化
                    if (fs.Length != size || fs.LastWriteTime != modiTine)
                    {

                        try
                        {
                            HttpHelper.DownLoadMdiFile(serverUrl, localPath);
                        }
                        catch (Exception)
                        {

                            throw;
                        }
                    }

                }
                else
                {
                    HttpHelper.DownLoadMdiFile(serverUrl, localPath);
                }
            }
        }

第二个：backgroundWorker1_ProgressChanged

 private void backgroundWorker1_ProgressChanged(object sender, ProgressChangedEventArgs e)
        {
            this.progressBar.Value = e.ProgressPercentage;
            var display = e.UserState.ToString();
            labDisplay.Text = display.Trim();
            //lbl_pbvalue.Text = "更新进度" + e.ProgressPercentage + "%";
        }

第三个：backgroundWorker1_RunWorkerCompleted

private void backgroundWorker1_RunWorkerCompleted(object sender, RunWorkerCompletedEventArgs e)
        {
            runningPath += "A.exe";
            try
            {
                System.Diagnostics.Process.Start(runningPath);
            }
            catch (Exception ex)
            {
                MessageBox.Show(ex.Message);
            }

            this.Close();
        }

在使用backgroundwork和progressBar控件的时候需要注意几个点
 this.backgroundWorker1.WorkerReportsProgress = true;  用于进度条更新
 this.backgroundWorker1.WorkerSupportsCancellation = true; 提供中途终止进程

 this.progressBar.Maximum = 100;给一个最大值

 好吧！就这样一个简单的在线更新文件的程序就搞定啦！

 【转载注明出处！谢谢】