• 用HttpWebRequest取得网页源码


      用HttpWebRequest取得网页源码 

    不如PHP方便。

    /// <summary>   
            /// 用HttpWebRequest取得网页源码   
            /// 对于带BOM的网页很有效,不管是什么编码都能正确识别   
            /// </summary>   
            /// <param name="url">网页地址" </param>    
            /// <returns>返回网页源文件</returns>   
            public static string GetHtmlSource(this string url)
            {
                //处理内容   
                string html = "";
                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
                request.Accept = "*/*"; //接受任意文件
                request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)"; // 模拟使用IE在浏览
                request.AllowAutoRedirect = true;//是否允许302
                //request.CookieContainer = new CookieContainer();//cookie容器,
                request.Referer = url; //当前页面的引用

                HttpWebResponse response = (HttpWebResponse)request.GetResponse();
                Stream stream = response.GetResponseStream();
                StreamReader reader = new StreamReader(stream, Encoding.Default);
                html = reader.ReadToEnd();
                stream.Close();

                return html;
            }

  • 相关阅读:
    innodb文件
    Innodb 存储引擎
    第二章 flex输入输出结构
    第二章 flex输入输出
    第二章 flex处理二义性
    第一章 flex单词计数程序
    Compile SQLite3 from individual files
    标 题: [心得]传统IT转互联网面试经验分享
    【设计模式】二:策略模式
    python 爬虫第三例--爬美女图片
  • 原文地址:https://www.cnblogs.com/haiconc/p/2349914.html
Copyright © 2020-2023  润新知