• C#抓取网页HTML内容


    640?wx_fmt=png

    using System;

    using System.Collections.Generic;

    using System.Linq;

    using System.Web;

    using System.Net;

    using System.Text;

    using System.IO;

    using System.Text.RegularExpressions;


    namespace Web

    {

       /// <summary>  

       /// 公共方法类  

       /// </summary>  

       public class WebHandler

       {

          /// <summary>  

          /// 获取网页的HTML码  

          /// </summary>  

          /// <param name="url">链接地址</param>  

          /// <param name="encoding">编码类型</param>  

          /// <returns></returns>  

          public static string GetHtmlStr(string url, string encoding)

          {

             string htmlStr = "";

             try

             {

                if (!String.IsNullOrEmpty(url))

                {

                   WebRequest request = WebRequest.Create(url);            //实例化WebRequest对象  

                   WebResponse response = request.GetResponse();           //创建WebResponse对象  

                   Stream datastream = response.GetResponseStream();       //创建流对象  

                   Encoding ec = Encoding.Default;

                   if (encoding == "UTF8")

                   {

                      ec = Encoding.UTF8;

                   }

                   else if (encoding == "Default")

                   {

                      ec = Encoding.Default;

                   }

                   StreamReader reader = new StreamReader(datastream, ec);

                   htmlStr = reader.ReadToEnd();                  //读取网页内容  

                   reader.Close();

                   datastream.Close();

                   response.Close();

                }

             }

             catch { }

             return htmlStr;

          }

       }  

       

    }


  • 相关阅读:
    constexpr函数"QAlgorithmsPrivate::qt_builtin_popcount"不会生成常数表达式
    Oracle 导出用户下的所有索引创建语句
    如何创建只读权限oracle账户
    CentOS7使用firewalld打开关闭防火墙与端口
    springboot异步线程(三)源码解析(二)
    springboot异步线程(三)源码解析(一)
    MethodInterceptor 的几种用法(二)
    ThreadLocal源码阅读
    MethodInterceptor 的几种用法
    springboot定时器(一)
  • 原文地址:https://www.cnblogs.com/hgmyz/p/12351400.html
Copyright © 2020-2023  润新知