• 并发访问超时的问题可能性(引用)


    用C#模拟网页登陆,其中去请求几个页面,会发起对应的http的请求request,其中keepAlive设置为true,提交请求后,然后会有对应的response:

    resp = (HttpWebResponse)req.GetResponse();

    之前的多次调试,一直都是可以正常获得对应的response,然后读取html页面的。

    但是后来几次的调试,在没有改变代码的前提下,结果GetResponse却始终会超时死掉。

    【解决过程】

    1.默认request的timeout是1000000毫秒=100秒,都会超时,手动改为10秒,因此就更容易超时了,无法解决问题。

    2.将http的request的keepAlive设置为false,问题依旧。

    3.去参考:c# request.GetResponse();超时问题的解决,和HttpWebRequest多线程性能问题,请求超时的错误

    去把前面共4次的httprequest,每次都增加对应的:

    resp = null;
    。。。
    if (resp != null)
    {
        resp.Close();
    }
    if (req != null)
    {
        req.Abort();
    }

    结果还是没解决问题。

    4. 同样参考:HttpWebRequest多线程性能问题,请求超时的错误

    去尝试关于DefaultConnectionLimit的设置,改为为10:

    System.Net.ServicePointManager.DefaultConnectionLimit = 10;

    问题依旧。

    5.又去测试了下,关于response.Close()

    也是没解决问题。

    6. 最后无意间,索性不抱希望的,再次DefaultConnectionLimit设置为更大的值50:

    System.Net.ServicePointManager.DefaultConnectionLimit = 50;

    试了试,结果就解决超时的问题了。

    然后才搞懂原因。

    之前默认设置为2,后来改为10,都没有解决问题的原因在于,当前有很多个http的连接,没有被关闭掉,

    而这些keepalive的连接,都是

    由于代码中,对于前面多个request。其都是keepalive为true,以及多个response也没有close,

    而之前调试了很多次了,所以,此时已经存在了很多个alive的http连接了,已经超过了10个了,所以前面设置了DefaultConnectionLimit 为10,也还是没用的。

    而改为50,才够用。

    【总结】

    此处GetResponse超过的原因是,当前存在太多数目的alive的http连接(大于10个),所以再次提交同样的http的request,再去GetResponse,就会超时死掉。

    解决办法就是,把DefaultConnectionLimit 设置为一个比较大一点的数值,此数值保证大于你当前已经存在的alive的http连接数即可。

    【经验总结】

    以后写http的request代码,如果不是必须的要keepalive的,那么就要设置KeepAlive为false:

    req.KeepAlive = false;

    以及做对应的收尾动作:

    if (resp != null)
    {
        resp.Close();
    }
    if (req != null)
    {
        req.Abort();
    }

    【后记 2012-03-01】

    又偶尔遇到一次,DefaultConnectionLimit已经是200了,足够大了,但是GetResponse和GetRequestStream,还是会超时死掉的问题,具体是什么原因导致的还不是很清楚,但是经过折腾,参考:

    HttpWebResponse’s GetResponse() hangs and timeouts

    在:

    req = (HttpWebRequest)WebRequest.Create(constSkydriveUrl);
    setCommonHttpReqPara(ref req);
    resp = (HttpWebResponse)req.GetResponse();

    之前,添加一句垃圾回收:

    System.GC.Collect();

    然后就解决了GetResponse的超时问题,并且后面的GetRequestStream也同时可以正常工作,不超时了。

    所以,看起来像是当前系统由于调试多次,并且HttpWebRequest和HttpWebResponse都是没有正常去Close的,可能会残 留一些http的链接,然后就可能影响到了后续对于http的使用,垃圾回收后,估计就把残余的http相关资源释放了,然后http就可以正常工作了。

    【总结】

    对于GetResponse或GetRequestStream超时死掉的原因,可能是:

    1.DefaultConnectionLimit是默认的2,而当前的Http的connection用完了,导致后续的GetResponse或GetRequestStream超时死掉

    ==>> 默认系统只支持同时存在2个http的connection

    ==>> 使用HttpWebRequest之后如果没有close,则会占用1个http的connection,所以如果超过2次使用 HttpWebRequest而没有close,那么就用完系统的http的connection,之后再去使用 HttpWebRequest,GetResponse就会死掉

    解决办法:

    办法1:

    每次使用完HttpWebRequest,使用

    1
    2
    req.Close();
    req=null;

    去关闭对应的http connection

    最好对应的HttpWebResponse也要close:

    1
    2
    resp.Close();
    resp = null;

    方法2:

    修改DefaultConnectionLimit的值,改为足够大,比如:

    1
    System.Net.ServicePointManager.DefaultConnectionLimit = 200;

    2.系统中Http相关的资源没有正确释放,导致后续GetResponse或GetRequestStream超时死掉

    就像我此处遇到的,可能是之前调用http相关函数,没有正确完全释放资源,导致虽然DefaultConnectionLimit给了足够大,但 是还是会死掉,此时在http请求代码之前去做一次垃圾回收,则后续http的GetResponse或GetRequestStream就正常了,就不 会超时死掉了。

    参考代码如下:

    1
    2
    3
    4
    5
    System.GC.Collect();
     
    req = (HttpWebRequest)WebRequest.Create(constSkydriveUrl);
    setCommonHttpReqPara(ref req);
    resp = (HttpWebResponse)req.GetResponse();

     其实QQ的微信支付中底层处理就是采用的该方法(可参考文章最后附加代码)

    3.Http的GET请求时,不要手动设置ContentLength的值

    这个是参考这里:HttpWebRequest.GetResponse() hangs the second time it is called而记录于此的,也许有人是此原因,所以可供参考一下。

    即Http的GET请求,不要添加类似如下的代码:

    1
    2
    if (m_contentLength > 0)
        httpWebRequest.ContentLength = m_contentLength;

    不要去手动修改对应的ContentLength的值,C#的http相关库函数,会自动帮你计算的。

    注:POST方法中,的确是要手动填充数据和算出数据大小,然后手动给ContentLength赋值的。

    4.其他可能的一些原因

    (1)关于KeepAlive的问题

    如果Http的请求,是设置了KeepAlive=true的话,那么对应的http的connection会和服务器保持连接的。

    所以如果上述办法都不能解决超时的问题,可以尝试将keepAlive设置为false试试,看看能否解决。

    (2)关于Sleep

    有些人好像是通过在http请求前,加了对应的Sleep,结果解决了此问题。需要的人,也可以试试。

    (3)HttpWebRequest的Timeout

    一般来说,既然超时了,往往是由于错误使用函数或者网络有问题导致的,所以实际上此处对于有些人去把HttpWebRequest的Timeout的值改的更大,往往都是没用的。

    只不过,万一是由于网络响应慢而导致超时,那么倒是可以尝试,将HttpWebRequest的Timeout的值改为更大。

    (其中HttpWebRequest的Timeout默认的值是100,000 milliseconds ==100 seconds)

    参考代码:

    1
    req.Timeout = 5 * 60 * 1000; // 5 minutes

    附加代码参考:

            public static string Post(string xml, string url, bool isUseCert, int timeout)
            {
                System.GC.Collect();//垃圾回收,回收没有正常关闭的http连接

                string result = "";//返回结果

                HttpWebRequest request = null;
                HttpWebResponse response = null;
                Stream reqStream = null;

                try
                {
                    //设置最大连接数
                    ServicePointManager.DefaultConnectionLimit = 200;
                    //设置https验证方式
                    if (url.StartsWith("https", StringComparison.OrdinalIgnoreCase))
                    {
                        ServicePointManager.ServerCertificateValidationCallback =
                                new RemoteCertificateValidationCallback(CheckValidationResult);
                    }

                    /***************************************************************
                    * 下面设置HttpWebRequest的相关属性
                    * ************************************************************/
                    request = (HttpWebRequest)WebRequest.Create(url);

                    request.Method = "POST";
                    request.Timeout = timeout * 1000;

                    //设置代理服务器
                    //WebProxy proxy = new WebProxy();                          //定义一个网关对象
                    //proxy.Address = new Uri(WxPayConfig.PROXY_URL);              //网关服务器端口:端口
                    //request.Proxy = proxy;

                    //设置POST的数据类型和长度
                    request.ContentType = "text/xml";
                    byte[] data = System.Text.Encoding.UTF8.GetBytes(xml);
                    request.ContentLength = data.Length;

                    //是否使用证书
                    if (isUseCert)
                    {
                        string path = HttpContext.Current.Request.PhysicalApplicationPath;
                        X509Certificate2 cert = new X509Certificate2(path + WxPayConfig.SSLCERT_PATH, WxPayConfig.SSLCERT_PASSWORD);
                        request.ClientCertificates.Add(cert);
                        Log.Debug("WxPayApi", "PostXml used cert");
                    }

                    //往服务器写入数据
                    reqStream = request.GetRequestStream();
                    reqStream.Write(data, 0, data.Length);
                    reqStream.Close();

                    //获取服务端返回
                    response = (HttpWebResponse)request.GetResponse();

                    //获取服务端返回数据
                    StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8);
                    result = sr.ReadToEnd().Trim();
                    sr.Close();
                }
                catch (System.Threading.ThreadAbortException e)
                {
                    Log.Error("HttpService", "Thread - caught ThreadAbortException - resetting.");
                    Log.Error("Exception message: {0}", e.Message);
                    System.Threading.Thread.ResetAbort();
                }
                catch (WebException e)
                {
                    Log.Error("HttpService", e.ToString());
                    if (e.Status == WebExceptionStatus.ProtocolError)
                    {
                        Log.Error("HttpService", "StatusCode : " + ((HttpWebResponse)e.Response).StatusCode);
                        Log.Error("HttpService", "StatusDescription : " + ((HttpWebResponse)e.Response).StatusDescription);
                    }
                    throw new WxPayException(e.ToString());
                }
                catch (Exception e)
                {
                    Log.Error("HttpService", e.ToString());
                    throw new WxPayException(e.ToString());
                }
                finally
                {
                    //关闭连接和流
                    if (response != null)
                    {
                        response.Close();
                    }
                    if(request != null)
                    {
                        request.Abort();
                    }
                }
                return result;
            }

  • 相关阅读:
    linux----别名
    linux---三剑客
    如何給linux安装 jdk呢?
    linux---文件颜色含义
    reason: no instance(s) of type variable(s) exist so that ProjectByProvinceVO conforms to ProjectDetailVO
    jrebel的坑
    使用自定义注解,但是运行时获取不到注解的值
    springboot启动失败,没有任何提示,trycatch也没有输出
    case when 中计数如何去重
    case when 中如何使用计数
  • 原文地址:https://www.cnblogs.com/ameile/p/4766754.html
Copyright © 2020-2023  润新知