最近一个项目,使用微软的Entity Framework的ORM框架的项目,部署到现场后,出现了系统缓慢,多个客户端的内存溢出崩溃的问题。
打开了SQL Server Profiler(SQL Server Profiler的简单使用)排查,发现有全表查询的语句,这表中有上万条数据,所以客户端查询后内存溢出了。
从代码中排查是否有直接全表查询的语句,结果未找到,后来在网上搜索到Linq to Object 连接(join) Linq to Entity时可能会引起全表查询。(https://www.cnblogs.com/gxlinhai/p/4263393.html)
所以这里也创建了一个demo做了进一步的了解。
此Demo 使用Entity Framework的ORM框架,只需要配置数据库连接,能自动生成数据库,并创建一些数据。
表有Entity和Foo两个表,其中Foo表中有Entity表的外键。
打开SQL Server Profiler检测生成的语句。
测试一,用IEnumerable来连表查询。
IEnumerable<Foo> foos = db.Foos; var objectNames = (from foo in foos join en in db.Entitys on foo.EntityId equals en.EntityId select foo.Name).ToList();
之后在SQL Server Profiler中监测到如下语句:
SELECT [Extent1].[EntityId] AS [EntityId], [Extent1].[Name] AS [Name], [Extent1].[Notes] AS [Notes] FROM [dbo].[Entities] AS [Extent1]
出现了Entity表全表查询的语句。
测试二, 用var来连表查询。
var foos = db.Foos;
var objectNames = (from foo in foos
join en in db.Entitys
on foo.EntityId equals en.EntityId
select foo.Name).ToList();
在SQL Server Profiler中,监测到的语句如下
SELECT [Extent1].[Name] AS [Name] FROM [dbo].[Foos] AS [Extent1] INNER JOIN [dbo].[Entities] AS [Extent2] ON [Extent1].[EntityId] = [Extent2].[EntityId]
没有出现全表查询的语句。
测试三,用IQueryable来连表查询
IQueryable<Foo> foos = db.Foos;
var objectNames = (from foo in foos
join en in db.Entitys
on foo.EntityId equals en.EntityId
select foo.Name).ToList();
在SQL Server Profiler中,监测到的语句如下
SELECT [Extent1].[Name] AS [Name] FROM [dbo].[Foos] AS [Extent1] INNER JOIN [dbo].[Entities] AS [Extent2] ON [Extent1].[EntityId] = [Extent2].[EntityId]
没有出现全表查询的语句。
测试四:结合别人说的代码,修改如下
List<MyObject> objectList = new List<MyObject>(); objectList.Add(new MyObject { Identity = 1, Name = "Jack", Age = 30 }); objectList.Add(new MyObject { Identity = 2, Name = "Sam", Age = 28 }); objectList.Add(new MyObject { Identity = 3, Name = "Lucy", Age = 23 }); var objectNames = (from foo in objectList join en in db.Entitys on foo.Identity equals en.EntityId select foo.Name).ToList();
在SQL Server Profiler中,监测到的语句如下
SELECT [Extent1].[EntityId] AS [EntityId], [Extent1].[Name] AS [Name], [Extent1].[Notes] AS [Notes] FROM [dbo].[Entities] AS [Extent1]
又出现了Entity全表查询的语句。
结论:
测试1:返回结果为IEnumerable时,有可能数据已经缓存到内存里了,作为了object,这样再linq查询时,不会重新调整sql语句,导致了连接表全表查询后在内存中过滤。
测试2、3: IQueryable在连表查询时,最后会重新生成sql语句来查询。var默认为DbSet,DbSet也会重新生成sql语句来查询。
测试4: 直接证明了object与linq查询,导致查询语句会变成全表查询。
Demo见如下:
百度网盘:https://pan.baidu.com/s/1cDEIS2
提取密码:qwnb