C# 读取 Excel（大文件）

ASP.NET下C#读取Excel文件，有好几种方法，我了解到的有：Microsoft.Office.Interop.Excel.dll 、 Microsoft.Jet.OLEDB 、NPOI，其中NPOI应该是用的比较多的吧，我个人来说比较倾向使用NPOI，很方便。不过今天我的一个小伙伴突然微信我，说她现在的公司需要解析一个上百兆的Excel文件，使用NPOI会有内存溢出的问题，即使根据需求将文件大小控制在最小50M以内还是不行，问我有什么办法能解决这个问题。

这个问题虽然我没做深入的了解，但是按照经验来看很可能是NPOI的瓶颈，或者说是她用的这个版本NPOI版本的瓶颈。

那么这个问题怎么解决呢？上菜！

DocumentFormat.OpenXmlSDK

对，没错！就是他，微软提供的一个读取Excel的类库

1、通过NuGet搜索 DocumentFormat.OpenXml

我下载的是第二个，至于为啥是第二个，因为小.... 而且对.NetFramework版本没有依赖

2、解析Excel

        /// <summary>
        /// 获取Excel指定工作表数据
        /// </summary>
        /// <param name="filePath">Excel所在路径</param>
        /// <param name="sheetName">工作表名</param>
        /// <returns></returns>
        public static void GetExcelVlaue(string filePath, string sheetName)
        {
            //打开文件
            SpreadsheetDocument document = SpreadsheetDocument.Open(filePath, false);
            WorkbookPart workbook = document.WorkbookPart;
            IEnumerable<Sheet> sheets = document.WorkbookPart.Workbook.Descendants<Sheet>().Where(s => s.Name == sheetName);//此处改成读取第一个sheet页面即可
            if (sheets.Count() == 0)
            {
                //sheet空判断
            }
            WorksheetPart worksheetPart = (WorksheetPart)document.WorkbookPart.GetPartById(sheets.First().Id);
            Worksheet worksheet = worksheetPart.Worksheet;
            IEnumerable<Row> rows = worksheet.Descendants<Row>();
            foreach (Row row in rows)//获取行的值
            {
                foreach (Cell cell in row)
                {
                    string columnValue = GetValue(cell, workbook.SharedStringTablePart);
                }
            }
        }

 /// <summary>
        /// 获取单元格信息  这也是官方获取值的方法
        /// </summary>
        /// <param name="cell"></param>
        /// <param name="stringTablePart">stringTablePart就是WorkbookPart.SharedStringTablePart，它存储了所有以SharedStringTable方式存储数据的子元素。</param>
        /// <returns></returns>
        public static string GetValue(Cell cell, SharedStringTablePart stringTablePart)
        {
            if (cell.ChildElements.Count == 0)
                return null;
            //get cell value
            String value = cell.CellValue.InnerText;
            //Look up real value from shared string table
            if ((cell.DataType != null) && (cell.DataType == CellValues.SharedString))
                value = stringTablePart.SharedStringTable
                    .ChildElements[Int32.Parse(value)]
                    .InnerText;
            return value;
        }

 

亲测可用，没毛病！
400M左右的文件测试三次，数据量在50W条左右，耗时平均在00:01:10左右。
100M左右的文件测试一次，数据量在100W条左右，耗时00:03:47左右。

   public void Read()
        {
            DataTable dt = new DataTable();
            Stopwatch watch = new Stopwatch();
            watch.Start();
            using (SpreadsheetDocument spreadSheetDocument = SpreadsheetDocument.Open(@"C:UsersAdministratorDesktop大数据.xlsx", false))
            {
                WorkbookPart workbookPart = spreadSheetDocument.WorkbookPart;
                IEnumerable<Sheet> sheets = spreadSheetDocument.WorkbookPart.Workbook.GetFirstChild<Sheets>().Elements<Sheet>();
                string relationshipId = sheets.First().Id.Value = sheets.First(x => x.Name == "Sheet1").Id.Value;
                WorksheetPart worksheetPart = (WorksheetPart)spreadSheetDocument.WorkbookPart.GetPartById(relationshipId);
                Worksheet workSheet = worksheetPart.Worksheet;
                SheetData sheetData = workSheet.GetFirstChild<SheetData>();
                Row[] rows = sheetData.Descendants<Row>().ToArray();

                int count = rows.Count();
                string time1 = watch.Elapsed.ToString();
                log.Error("excel解析完成，数据条数：" + count + "，耗时：" + time1);

                watch.Restart();
                // 设置表头DataTable
                foreach (Cell cell in rows.ElementAt(0))
                {
                    dt.Columns.Add((string)GetCellValue(spreadSheetDocument, cell));
                }

                // 添加内容
                for (int rowIndex = 1; rowIndex < rows.Count(); rowIndex++)
                {
                    DataRow tempRow = dt.NewRow();

                    for (int i = 0; i < rows[rowIndex].Descendants<Cell>().Count(); i++)
                    {
                        tempRow[i] = GetCellValue(spreadSheetDocument, rows[rowIndex].Descendants<Cell>().ElementAt(i));
                    }
                    dt.Rows.Add(tempRow);
                }

                string time2 = watch.Elapsed.ToString();
                log.Error("data生成结束，耗时：" + time2);
            }
        }

 public static string GetCellValue(SpreadsheetDocument document, Cell cell)
        {
            SharedStringTablePart stringTablePart = document.WorkbookPart.SharedStringTablePart;
            string value = cell.CellValue.InnerXml;

            if (cell.DataType != null && (cell.DataType.Value == CellValues.SharedString || cell.DataType.Value == CellValues.String || cell.DataType.Value == CellValues.Number))
            {
                return stringTablePart.SharedStringTable.ChildElements[Int32.Parse(value)].InnerText;
            }
            else //浮点数和日期对应的cell.DataType都为NULL
            {
                // DateTime.FromOADate((double.Parse(value)); 如果确定是日期就可以直接用过该方法转换为日期对象，可是无法确定DataType==NULL的时候这个CELL 数据到底是浮点型还是日期.(日期被自动转换为浮点
                return value;
            }
        }

感谢：

https://www.cnblogs.com/longshanshan/p/7156036.html