遇到OutOfMemoryException异常了

遇到OutOfMemoryException异常了

2008-11-28 09:52

asp.net做的售后服务系统运行了快1年了，昨天在做全年数据导出的时候出现OutOfMemoryException异常，数据量大约50M。50M应该不是很大，放在数据库里也就几万条（表字段很多）。IIS6的应用程序池的设置是默认的。不知道为什么这样，本机测试的时候是没有这个问题的。估计问题的原因在于：1。程序中内存控制问题；2。服务器内存回收的问题。据说IIS6最多能用800M的内存，如果IIS设置的内存超过800M就可能出现OutOfMemoryException错误。IIS的设置也是比较重要的，可以在早上设置内存回收，把内存回收的周期设置为600分钟。

程序内一定要注意控制内存，虽然C#的程序基本都是托管的，由垃圾回收器来收内存，但是我们一定要注意多用using，数据读取用datareader。不要用dataset做大数据量的处理，合理利用分页。看了下系统的代码，有很多地方都需要优化，唉，没那么多时间搞，郁闷。以后写程序要多注意。

对于这个异常，貌似没有什么好的解决办法，只是在写程序的时候多注意。根治的办法只能是对程序动手术了。在Application_Error里可以捕获此异常。

================Application_Error里处理异常的例子

            //初始化异常
            Exception objExp = HttpContext.Current.Server.GetLastError();
           
            //忽略采网际快车或其他网络工具下载带有书签的HTTP请求导致的异常]
            if(HttpContext.Current.Request.Url.ToString().IndexOf("#") != -1)
            {
                //清除当前HTTP请求的所有错误
                HttpContext.Current.ClearError();

                //输出
                HttpContext.Current.Response.Write("您的请求是非法的，将被系统忽略");
                //返回
                return;
            }
           
            //循环处理异常事件
            for(Exception TempException = objExp; TempException != null ; TempException = TempException.InnerException)
            {
                //如果系统检测到非法字符，则提示并返回
                if(TempException.GetType().ToString() == "System.Web.HttpRequestValidationException")
                {
                    //清除当前HTTP请求的所有错误
                    HttpContext.Current.ClearError();

                    //输出
                    HttpContext.Current.Response.Write("系统检测到您输入了非法字符");

                    //返回
                    return;
                }

                //异常为内存溢出
                if(TempException.GetType().ToString() == "System.OutOfMemoryException")
                {
                    //清除当前HTTP请求的所有错误
                    HttpContext.Current.ClearError();

                    //输出
                    HttpContext.Current.Response.Write("系统正在维护...");
                    HttpContext.Current.Response.Write("服务器资源耗尽，请稍候重试！");
                    //返回
                    break;
                }

                //由SQLServer返回的警告或或错误引发的异常
                if(TempException.GetType().ToString() == "System.Data.SqlClient.SqlException")
                {
    byte ErrLevel    = ((System.Data.SqlClient.SqlException)TempException).Class;
                    int Number        = ((System.Data.SqlClient.SqlException)TempException).Number;
   
                    //严重程度处理    [数据库服务器已经关闭]
                    //Number == 17 [SQL Server 不存在或访问被拒绝]
                    //Number == 11 [常规网络错误。请检查您的网络文档]
                    if(ErrLevel == 20 && (Number == 17 || Number == 11))
                    {
                        //清除当前HTTP请求的所有错误
                        HttpContext.Current.ClearError();

                        //输出
                        HttpContext.Current.Response.Write("系统正在维护...");
                        HttpContext.Current.Response.Write("数据库服务器已经关闭，请稍候重试！");

                        //返回
                        return;
                    }

                    //严重程度处理 [数据库服务器正在关闭]
                    //Number == 6002 [SHUTDOWN 正在进行。请注销]
                    if(ErrLevel == 16 && Number == 6002)
                    {
                        //清除当前HTTP请求的所有错误
                        HttpContext.Current.ClearError();

                        //输出
                        HttpContext.Current.Response.Write("系统正在维护...");
                        HttpContext.Current.Response.Write("数据库服务器正在关闭，请稍候重试！");

                        //返回
                        return;
                    }

                    //严重程度处理 [系统正在登陆数据库服务器]
                    //Number == 6005 [SHUTDOWN 正在进行，用户登录失败。目前只有管理员才能连接]
                    else if(ErrLevel == 14 && Number == 6005)
                    {
                        //清除当前HTTP请求的所有错误
                        HttpContext.Current.ClearError();

                        //输出
                        HttpContext.Current.Response.Write("系统维护中......");
                        HttpContext.Current.Response.Write("系统正在登陆数据库服务器，请稍候重试！");

                        //返回
                        return;
                    }
                }

                //事件信息处理
                if(TempException.Message == "超时时间已到。在从池中获取连接之前超时时间已过。出现这种情况可能是因为所有池连接都已被使用并已达到最大池大小。")
                {
                    //清除当前HTTP请求的所有错误
                    HttpContext.Current.ClearError();

                    //输出
                    HttpContext.Current.Response.Write("系统维护中......");
                    HttpContext.Current.Response.Write("数据库服务器忙，请稍候重试！");

                    //返回
                    return;
                }

                //忽略框架异常
                if(TempException.GetType().ToString() == "System.Web.HttpUnhandledException")
                {
                    //返回
                    return;
                }

                //写入异常
                //省略程序.......
                ));

ASP.NET中OutOfMemoryException异常的处理方案

相信做ASP.NET中大型Web应用的人都碰到过OutOfMemoryException这个异常，对于这个问题我研究了很久，在微软的技术文档上也了解过此问题出现的原因，说实话，到目前我仍然没有完美的解决方案，这里只是把我处理该问题的一些经验提出来和大家一起分享，尽可能的避免该问题的发生。

1) 首先，在硬件的配置上，出现该问题的原因我想很多人已经知道了，那就是IIS对于内存的管理存在一些限制，普遍的认识是800M的线程内存使用上限(通过我的一些客户实践证明的确如此,甚至更低...)，不管是w3wp还是aspnet_wp，这个限制对ASP.NET应用服务器的机器配置而言其意义是很明显的，超过2G的内存对于单纯的Web服务器而言作用是很微小的，所以在Web服务器的配置上可在CPU的数量方面多考虑。

2) IIS配置上的方案，IIS5.0可安装一个IIS5Recycle程序，该程序采用服务的形式来回收工作进程，安装说明：http://support.microsoft.com/?id=322350，对于IIS6.0可以在应用程序池的配置上设置自动回收工作线程的时间，我一般都会设在凌晨2点:)

3) 在.NET Framework的配置上，修改machine.config配置文件中的配置节<processModel>的属性“memoryLimit”，这个属性的值默认为“60”，是一个百分比数据，我们需要按照服务器实际的内存数，再根据800M的上限来设置这个值，那么在达到这个阀值时IIS会自动回收进程

4) 在Web应用程序的开发中，必须尽可能的减少对内存使用的浪费，及时释放资源，我想说明的有3点：1、通过代码主动调用Dispose方法进行资源释放，2、对于实体类尽可能复用，不做多余的声明和创建，3、减少Session的使用，缩短Session的有效期，尤其对于大数据对象尽量不要存储在Session中

5) 一个比较通用的办法，在Web应用程序的基类中通过try{}catch{}来主动捕捉OutOfMemoryException异常，发现该异常后直接调用GC.Collect()进行强制垃圾回收。

最后，有很多朋友提到32位系统对于大内存使用方面可以打开3G模式，这个本身没有什么问题，只是根据个人经验，其对单纯Web应用程序的帮助不大，如果Web服务器还有更多的用途当然也建议采用此模式.

希望对大家处理此问题有帮助.

===========

ASP.NET中的OutOfMemoryException
在博客园看到了一位园友写的文章《如何处理OutOfMemoryException异常？》，于是想和大家交流一下ASP.NET中出现OutOfMemoryException的问题。
实际上，在ASP.NET Web服务器上，ASP.NET所能够用到的内存，通常不会等同于所有的内存数量。在machine.config配置文件中，配置节<processModel>中有一个属性“memoryLimit”，这个属性的值是一个百分值，默认为“60”，即指定了ASP.NET进程（在任务管理器中大家就可以看到ASP.NET的进程，IIS5中为aspnet_wp，IIS6中为w3wp）能够使用所有物理内存的60%。当ASP.NET使用的内存量超过这个限额时，IIS会开始自动回收（recycle）进程，即创建一个新的进程去负责应付Http请求，而将旧进程所占用的内存回收。
当我们有一台很大内存的服务器时，“memoryLimit”这个值是需要进行适当的调整的。比如我们准备了一台4G内存的服务器，那么4G×60%＝2.4G。但是，对于Win32操作系统，一个进程所能占用的所有内存空间只有2G。当ASP.NET进程占用的内存开始达到2G时，由于它并没有达到2.4G的“回收阈值”，所以IIS不会启动recycle进程操作，但是由于Win32的限制，实际上已经不能给这个进程分配更多的内存了，于是，OutOfMemoryException就很可能会被抛出了。为了避免这样的情况，我们就必须将“memoryLimit”适当调小，以让IIS更早的进行进程回收。
微软推荐的ASP.NET进程占用内存是不超过60%，并最好使计算出的实际值不超过800M。就是说，对于一台4G内存的服务器，最好将“memoryLimit”属性设置成“20”。设置一个适当的回收阈值，让IIS适时的进行进程回收，对于保证整个服务器的稳定运行，避免OutOfMemoryException是非常重要的。
在IIS6中，ASP.NET进程的回收阈值不再由配置节中的“memoryLimit”属性决定，而是由IIS管理器中的应用程序池配置中的设置决定。
但是，即使正确设置了这些配置，也不能保证完全避免OutOfMemoryException的发生，原因可能是多样而复杂的，比如内存回收操作可能耗时太多等等。开发人员要注意的，就是在代码中时刻牢记不要无谓的使用和浪费内存。:)