poi 的usermodel api读取大数据量excel会导致OOM,可以使用eventmodel api来处理这种excel.
import java.io.IOException; import java.io.InputStream; import java.util.LinkedList; import java.util.List; import javax.xml.parsers.ParserConfigurationException; import org.apache.poi.openxml4j.opc.OPCPackage; import org.apache.poi.openxml4j.opc.PackageAccess; import org.apache.poi.util.SAXHelper; import org.apache.poi.xssf.eventusermodel.ReadOnlySharedStringsTable; import org.apache.poi.xssf.eventusermodel.XSSFReader; import org.apache.poi.xssf.eventusermodel.XSSFSheetXMLHandler; import org.apache.poi.xssf.eventusermodel.XSSFSheetXMLHandler.SheetContentsHandler; import org.apache.poi.xssf.model.StylesTable; import org.apache.poi.xssf.usermodel.XSSFComment; import org.xml.sax.InputSource; import org.xml.sax.SAXException; import org.xml.sax.XMLReader; public class ExcelEventParser { private String filename; private SheetContentsHandler handler; public ExcelEventParser(String filename){ this.filename = filename; } public ExcelEventParser setHandler(SheetContentsHandler handler) { this.handler = handler; return this; } public void parse(){ OPCPackage pkg = null; InputStream sheetInputStream = null; try { pkg = OPCPackage.open(filename, PackageAccess.READ); XSSFReader xssfReader = new XSSFReader(pkg); StylesTable styles = xssfReader.getStylesTable(); ReadOnlySharedStringsTable strings = new ReadOnlySharedStringsTable(pkg); sheetInputStream = xssfReader.getSheetsData().next(); processSheet(styles, strings, sheetInputStream); } catch (Exception e) { throw new RuntimeException(e.getMessage(), e); }finally { if(sheetInputStream != null){ try { sheetInputStream.close(); } catch (IOException e) { throw new RuntimeException(e.getMessage(), e); } } if(pkg != null){ try { pkg.close(); } catch (IOException e) { throw new RuntimeException(e.getMessage(), e); } } } } private void processSheet(StylesTable styles, ReadOnlySharedStringsTable strings, InputStream sheetInputStream) throws SAXException, ParserConfigurationException, IOException{ XMLReader sheetParser = SAXHelper.newXMLReader(); if(handler != null){ sheetParser.setContentHandler(new XSSFSheetXMLHandler(styles, strings, handler, false)); }else{ sheetParser.setContentHandler(new XSSFSheetXMLHandler(styles, strings, new SimpleSheetContentsHandler(), false)); } sheetParser.parse(new InputSource(sheetInputStream)); } public static class SimpleSheetContentsHandler implements SheetContentsHandler{ protected List<String> row = new LinkedList<>(); @Override public void startRow(int rowNum) { row.clear(); } @Override public void endRow(int rowNum) { System.err.println(rowNum + " : " + row); } @Override public void cell(String cellReference, String formattedValue, XSSFComment comment) { row.add(formattedValue); } @Override public void headerFooter(String text, boolean isHeader, String tagName) { } } }
用法:
public static void main(String[] args) throws Throwable{ long start = System.currentTimeMillis(); final List<List<String>> table = new ArrayList<>(); new ExcelEventParser("D:/ExcelTestModel.xlsx").setHandler(new SimpleSheetContentsHandler(){ private List<String> fields; @Override public void endRow(int rowNum) { if(rowNum == 0){ // 第一行中文描述忽略 }else if(rowNum == 1){ // 第二行字段名 fields = row; }else { // 数据 table.add(row); } } }).parse(); long end = System.currentTimeMillis(); System.err.println(table.size()); System.err.println(end - start); }
经测试,读取100万行excel大概需要二十多秒!!!
由于100万行excel有三十多M,没法放附件, 请自行填充测试数据。(例如:A1:A1000000选中第一列100万行,然后ctrl+D会自动填充第一列, 以此类推填充10列)
相关推荐
使用Poi读取大数据量excel的方法 支持2003和2007的版本
poi excel poi excel poi excel poi excel poi excel poi excel poi excel poi excel
POI生成Excel POI读取Excel java操作Excel Servlet生成Excel web项目,包含含读取Excel与生成Excel方法
使用poi读取excel内容 所需jar包
android5使用poi读取excel,android5使用poi读取excel,android5使用poi读取excel,android5使用poi读取excel
利用POI读取excel写入到word 利用POI读取excel写入到word 利用POI读取excel写入到word,压缩包里包含了jar包
poi读取大数据量excel文件,避免内存溢出,行级操作 根据本网站的资源修改的。 将一些类路径错误全部进行了修正。 另外,需要自己在类路径里,放spring-context.jar和spring-beans.jar包。
读取Excel的poi包,,读取Excel的poi包,,读取Excel的poi包,读取Excel的poi包读
poi读取大文件Excel,使用xml格式解析,速度实测50mb文件13s,可指定sheet页内容,带工具类和测试类
android 使用poi读取高版本excel, 解决以下这两个错误 java.lang.NoClassDefFoundError: Failed resolution of: Ljavax/xml/stream/XMLEventFactory; at org.apache.poi.openxml4j.opc.internal.marshallers....
实现了POI读取Excel文件中的数据,并且能导出Excel文件。
使用POI筛选字段导出Excel,以及条件查询和指定数据导出
使用poi解析excel文件,并将数据写入到数据库 项目说明 这个项目实现的功能是读取excel文件中的数据,解析并写入数据库。 读取的excel文件位于项目目录下的 excel\0805.xlsx 使用IntelliJ IDEA开发此项目 使用MYSQL...
<groupId>org.apache.poi <artifactId>poi-ooxml <version>3.10-FINAL 利用3.10-FINAL版本的poi,导出逻辑主要在FileDownloadUtils的createExcelFile方法
poi读取excel所需jar包,可用来使用poi读写word excel。
使用Java使用POI读取Excel,并且解决了合并单元格的读取
JAVA IO操作 POI读取excel的内容
看到现在网上excel转pdf的代码很少,在csdn上找到一个还不能用,只能做简单的转换,只好自己写了一个,代码是一个maven工程,用eclipse创建,支持单元格合并等复杂的excel,同时能同步单元格样式到pdf中。...
POI读取excel的例子
poi基于模板导出excel,poi基于模板导出excelpoi,基于模板导出excel