Java小知识----POI事件模式读取Excel 2007

一、知识背景

1.读取excel的方法选择问题

java中读excel中的时间，我们通常用POI去解析，在使用new HSSFWorkbook(NEW FileInputStream(excelFile))来读取Workbook，对Excel2003以前（包括2003）的版本没有问题，但读取Excel2007时发生如下异常：
org.apache.poi.poifs.filesystem.OfficeXmlFileException: The supplied DATA appears TO be IN the Office 2007+ XML. You are calling the part of POI that deals WITH OLE2 Office Documents. You need TO CALL a different part of POI TO PROCESS this DATA (eg XSSF instead of HSSF)
        该错误意思是说，文件中的数据是用Office2007+XML保存的，而现在却调用OLE2 Office文档处理，应该使用POI不同的部分来处理这些数据，比如使用XSSF来代替HSSF。
        于是按提示使用XSSF代替HSSF，用new XSSFWorkbook(excelFile)来读取Workbook，对Excel2007没有问题了，可是在读取Excel2003以前（包括2003）的版本时却发生了如下新异常：
org.apache.poi.openxml4j.exceptions.InvalidOperationException: Can't open the specified file: '*.xls'
        该错误是说，操作无效，不能打开指定的xls文件。
        下载POI的源码后进行单步调试，发现刚开始的时候还是对的，但到ZipFile类后就找不到文件了，到网上查了下，原来是XSSF不能读取Excel2003以前（包括2003）的版本，这样的话，就需要在读取前判断文件是2003前的版本还是2007的版本，然后对应调用HSSF或XSSF来读取。
        简而言之：由于HSSFWorkbook只能操作excel2003一下版本,XSSFWorkbook只能操作excel2007以上版本，所以利用Workbook接口创建对应的对象操作excel来处理兼容性

2.读取excel包含多sheet多数据的时候，出现内存溢出的问题。

POI提供UserModel和事件驱动两种方式读取excel。UserModel方式操作简洁，但是内存消耗大，稍微大一点的excel读取就会报内存溢出

二、解析步骤

当使用POI事件模式解析Excel XLSX文档时：

• POI根据xlsx文档的路径path获取到文件File - file
• 使用java.util.zip.ZipFile打开file文件 - zip
• 从zip中获取到[Content_Types].xml
• 解析[Content_Types].xml，记录解析出Excel各个xml名称：ArrayList
• Excel解析成ZipPackage实例对象

三、代码样例

1、从DefaultHandler派生事件处理类ExcelAbstract

import java.io.InputStream;
import java.sql.SQLException;
import java.util.HashMap;
import java.util.Map;

import org.apache.poi.xssf.eventusermodel.XSSFReader;
import org.apache.poi.xssf.model.SharedStringsTable;
import org.apache.poi.xssf.usermodel.XSSFRichTextString;
import org.apache.poi.openxml4j.opc.OPCPackage;
import org.xml.sax.Attributes;
import org.xml.sax.InputSource;
import org.xml.sax.SAXException;
import org.xml.sax.XMLReader;
import org.xml.sax.helpers.DefaultHandler;
import org.xml.sax.helpers.XMLReaderFactory;

/**
 * POI事件驱动读取Excel文件的抽象类。
 * 
 * @author  Charles
 * 
 */
public abstract class ExcelAbstract extends DefaultHandler {
    private SharedStringsTable sst;
    private String lastContents;
    private boolean nextIsString;
    private String curCellName= "";
    private int curRow = 0;
   private boolean numberFlag;
    private boolean isTElement;

    /**
     * 读取当前行的数据。key是单元格名称如A1,value是单元格中的值。如果单元格式空,则没有数据。
     */
    private Map<String, String> rowValueMap = new HashMap<>();

    /**
     * 处理单行数据的回调方法。
     * 
     * @param curRow 当前行号
     * @param rowValueMap 当前行的值
     * @throws SQLException
     */
    public abstract void optRows(int curRow, Map<String, String> rowValueMap);

    /**
     * 读取Excel指定sheet页的数据。
     * 
     * @param filePath 文件路径
     * @param sheetNum sheet页编号.从1开始。
     * @throws Exception
     */
    public void readOneSheet(String filePath, int sheetNum) throws Exception {
        OPCPackage pkg = OPCPackage.open(filePath);
        XSSFReader r = new XSSFReader(pkg);
        SharedStringsTable sst = r.getSharedStringsTable();

        XMLReader parser = getSheetParser(sst);

        // 根据 rId# 或 rSheet# 查找sheet
        InputStream sheet2 = r.getSheet("rId" + sheetNum);
        InputSource sheetSource = new InputSource(sheet2);
        parser.parse(sheetSource);
        sheet2.close();
        pkg.close();
    }

    public void readAllSheet(String filePath) throws Exception {
        OPCPackage pkg = OPCPackage.open(filePath);
        XSSFReader r = new XSSFReader(pkg);
        SharedStringsTable sst = r.getSharedStringsTable();

        XMLReader parser = getSheetParser(sst);
        
        SheetIterator sheets = (SheetIterator) r.getSheetsData();
        while(sheets.hasNext){
                InputStream sheet = sheets.next();
                  
                InputSource sheetSource = new InputSource(sheet2);
                parser.parse(sheetSource);
                sheet2.close();
        }
        pkg.close();
    }

    @Override
    public void startElement(String uri, String localName, String name, Attributes attributes) throws SAXException {
        // c => 单元格
        if (name.equals("c")) {
            
            // 如果下一个元素是 SST 的索引，则将nextIsString标记为true
            String cellType = attributes.getValue("t");
            if (cellType != null && cellType.equals("s")) {
                nextIsString = true;
            } else {
                nextIsString = false;
            }
            String cellNumberType = attributes.getValue("s");
            if (cellNumberType .equals("2")) {
                numberFlag= true;
            } else {
                numberFlag= false;
            }
        }
        if (name.equals("t")) {
           isTElement= true;
        } else {
           isTElement= false;
        }
        // 置空
        lastContents = "";
        
        /**
         * 记录当前读取单元格的名称
         */
        String cellName = attributes.getValue("r");
        if (cellName != null && !cellName.isEmpty()) {
            curCellName = cellName;
        }
    }

    @Override
    public void endElement(String uri, String localName, String name) throws SAXException {
        // 根据SST的索引值的到单元格的真正要存储的字符串
        // 这时characters()方法可能会被调用多次
        if (nextIsString) {
            int idx = Integer.parseInt(lastContents);
            lastContents = new XSSFRichTextString(sst.getEntryAt(idx)).toString(); 
        }

        if(isTElement){
            String value  = lastContents.trim();
            rowValueMap.put(curCellName,value);
            isTElement = false;
        }
        // v => 单元格的值，如果单元格是字符串则v标签的值为该字符串在SST中的索引
        // 将单元格内容加入rowlist中，在这之前先去掉字符串前后的空白符
        else if (name.equals("v")) {
            String value = lastContents.trim();
            value = value.equals("") ? " " : value;
            if(numberFlag){
                BigDecimal bd = new BigDecimal(value);
                value = bd.setScale(3,BigDecimal.ROUND_UP).toString();
            }
            rowValueMap.put(curCellName, value);
        } else {
            // 如果标签名称为 row ，这说明已到行尾，调用 optRows() 方法
            if (name.equals("row")) {
                optRows(curRow, rowValueMap);
                rowValueMap.clear();
                curRow++;
            }
        }
    }

    public void characters(char[] ch, int start, int length) throws SAXException {
        // 得到单元格内容的值
        lastContents += new String(ch, start, length);
    }
    
    /**
     * 获取单个sheet页的xml解析器。
     * @param sst
     * @return
     * @throws SAXException
     */
    private XMLReader getSheetParser(SharedStringsTable sst) throws SAXException {
        XMLReader parser = XMLReaderFactory.createXMLReader("com.sun.org.apache.xerces.internal.parsers.SAXParser");
        this.sst = sst;
        parser.setContentHandler(this);
        return parser;
    }
}
            

2、从ExcelAbstract派生ExcelReaderUtil处理每一行数据

import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.poi.hssf.usermodel.HSSFDateUtil;

/**
 * Excel读取公共类。
 * @author Charles
 * 
 */
public class ExcelReaderUtil extends ExcelAbstract {
    
    /**
     * 提取列名称的正则表达式
     */
    private static final String DISTILL_COLUMN_REG = "^([A-Z]{1,})";
    
    /**
     * 读取excel的每一行记录。map的key是列号(A、B、C...), value是单元格的值。如果单元格是空，则没有值。
     */
    private List<Map<String, String>> dataList = new ArrayList<>();
    
    @Override
    public void optRows(int curRow, Map<String, String> rowValueMap) {
        
        Map<String, String> dataMap = new HashMap<>();
        rowValueMap.forEach((k,v)->dataMap.put(removeNum(k), v));
        dataList.add(dataMap);
    }
    
    /**
     * 日期数字转换为字符串。
     * 
     * @param dateNum excel中存储日期的数字
     * @return 格式化后的字符串形式
     */
    public static String dateNum2Str(String dateNum) {
        Date date = HSSFDateUtil.getJavaDate(Double.parseDouble(dateNum));
        SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd");
        return formatter.format(date);
    }
    
    /**
     * 删除单元格名称中的数字，只保留列号。
     * @param cellName 单元格名称。如:A1
     * @return 列号。如：A
     */
    private String removeNum(String cellName) {
        Pattern pattern = Pattern.compile(DISTILL_COLUMN_REG);
        Matcher m = pattern.matcher(cellName);
        if (m.find()) {
            return m.group(1);
        }
        
        return "";
    }

    public List<Map<String, String>> getDataList() {
        return dataList;
    }
}