• c# HttpWebRequest与HttpWebResponse


    可以实现 抓取,或者是自动获取的功能。

    在请求时的参数怎么发送,怎么带Cookie,怎么设置证书,怎么解决 编码等问题,进行一步一步的解决。
    * 如果要使用中间的方法的话,可以访问我的帮助类完全免费开源:
    这个类是专门为HTTP的GET和POST请求写的,解决了编码,证书,自动带Cookie等问题。

     C# HttpHelper,帮助类,真正的Httprequest请求时无视编码,无视证书,无视Cookie,网页抓取

    public static string GetUrltoHtml(string Url,string type)
            {
                try
                {
                    System.Net.WebRequest wReq = System.Net.WebRequest.Create(Url);
                    // Get the response instance.
                    System.Net.WebResponse wResp = wReq.GetResponse();
                    System.IO.Stream respStream = wResp.GetResponseStream();
                    // Dim reader As StreamReader = New StreamReader(respStream)
                    using (System.IO.StreamReader reader = new System.IO.StreamReader(respStream, Encoding.GetEncoding(type)))
                    {
                        return reader.ReadToEnd();
                    }
                }
                catch (System.Exception ex)
                {
                    //errorMsg = ex.Message;
                }
                return "";
            }
    

      

    ///<summary>
    ///采用https协议访问网络
    ///</summary>
    ///<param name="URL">url地址</param>
    ///<param name="strPostdata">发送的数据</param>
    ///<returns></returns>
    public string OpenReadWithHttps(string URL, string strPostdata, string strEncoding)
    {
        Encoding encoding = Encoding.Default;
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(URL);
        request.Method = "post";
        request.Accept = "text/html, application/xhtml+xml, */*";
        request.ContentType = "application/x-www-form-urlencoded";
        byte[] buffer = encoding.GetBytes(strPostdata);
        request.ContentLength = buffer.Length;
        request.GetRequestStream().Write(buffer, 0, buffer.Length);
        HttpWebResponse response = (HttpWebResponse)request.GetResponse();
        using( StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.GetEncoding(strEncoding)))
          {
               return reader.ReadToEnd();
          }
    }
    

      这招是入门第一式, 特点:

       1.最简单最直观的一种,入门课程。

       2.适应于明文,无需登录,无需任何验证就可以进入的页面。

       3.获取的数据类型为HTML文档。

       4.请求方法为Get/Post

    2.第二招,根据URL地址获取需要验证证书才能访问的网页信息

  • 相关阅读:
    mysql定时器,定时查询数据库,把查询结果插入到一张表中 阿星小栈
    如何写mysql的定时任务 阿星小栈
    利用mysql游标循环结果集 阿星小栈
    页面可见生Page Visibility
    css之z-index
    css之页面三列布局之左右两边宽度固定,中间自适应
    css之页面两列布局
    jquery源码学习之extend
    jquery源码学习之queue方法
    HTTP状态码详解
  • 原文地址:https://www.cnblogs.com/yachao1120/p/9835027.html
Copyright © 2020-2023  润新知