0

0

Java 解析大 Excel 文件怎么提速?实战经验

冰川箭仙

冰川箭仙

发布时间:2026-01-03 17:05:02

|

837人浏览过

|

来源于php中文网

原创

用XSSF-SAX流式解析替代XSSFWorkbook,内存稳定几MB、速度提升3~5倍;关闭公式计算、跳过隐藏表、只读打开;解析后批量入库,1000~5000行flush一次。

java 解析大 excel 文件怎么提速?实战经验

用 Java 解析大 Excel(比如 10 万行以上、10MB+ 的 .xlsx 文件),别用 Apache POI 的默认 XSSFWorkbook —— 它会把整个文件加载进内存,OOM 是常态。核心提速思路就一条:用流式读取(SAX 模式)绕过 DOM 加载,边解析边丢弃,内存可控、速度翻倍

用 SXSSF 或 XSSF-SAX(推荐后者)代替 XSSFWorkbook

SXSSF 是 POI 提供的“流式写入”方案,但读取大文件它不适用;真正适合大文件读取的是 XSSF-SAX(即 org.apache.poi.xssf.eventusermodel.XSSFSheetXMLHandler + XMLReader)。它不构建对象树,而是监听 XML 标签事件,只保留当前行/单元格数据。

  • 内存占用稳定在几 MB(和行数无关),100 万行也能跑
  • 解析速度比 XSSFWorkbook 快 3~5 倍(实测 50 万行 xlsx 从 90s → 16s)
  • 需自己处理共享字符串表(SharedStringsTable)、数字格式、空单元格等细节

预处理:关闭公式计算 & 跳过隐藏/空 sheet

POI 默认会尝试解析公式、校验样式、加载所有 sheet —— 对纯数据导入场景全是冗余开销。

  • 读取时传入 new ReadOnlySharedStringsTable(inputStream),避免复制字符串表
  • OPCPackage.open(file, PackageAccess.READ) 打开,明确指定只读
  • 遍历 workbook.getNumberOfSheets() 前先检查 workbook.isSheetHidden(i) 和实际行数(用 sheet.getPhysicalNumberOfRows() > 0 判断)
  • 禁用公式重算:workbook.setForceFormulaRecalculation(false)(对 XSSF-SAX 无效,但对其他模式有用)

数据落地别卡在 JDBC 批量插入上

解析快了,但每行 new 一个 Entity 再 insert into ... values (?, ?, ?) 单条执行,数据库成瓶颈。必须配合批量写入。

问问小宇宙
问问小宇宙

问问小宇宙是小宇宙团队出品的播客AI检索工具

下载

立即学习Java免费学习笔记(深入)”;

  • 解析时攒够 1000~5000 行再 flush 到 DB(用 JdbcTemplate.batchUpdate 或 MyBatis foreach
  • 确保目标表有合适索引,导入前临时禁用非必要索引(MySQL 可 ALTER TABLE xxx DISABLE KEYS
  • PostgreSQL / Oracle 建议用 COPY / SQL*Loader 等原生工具替代 JDBC —— 但前提是能预处理成 CSV

进阶技巧:分片 + 多线程(谨慎使用)

单线程 SAX 已很快,但若文件极大(如 500 万行)且 CPU 闲置,可考虑逻辑分片:

  • 先用 ZipInputStream 定位 xl/worksheets/sheet1.xml 在 zip 中的偏移和大小(注意:xlsx 是 zip 包)
  • 把 sheet XML 流按 标签切分成多段(需小心跨标签截断,建议用 SAX 分页器或预扫描行号)
  • 每个分片由独立线程解析 → 收集到 BlockingQueue → 主线程统一入库(注意线程安全与顺序)
  • red">注意:多线程 SAX 需各自维护独立的 SharedStringsTable 和样式上下文,实现复杂,一般 200 万行内不建议上

基本上就这些。不复杂但容易忽略:选对模型(SAX)、关掉冗余行为、批量落库。上线后加个简单监控(比如每 10 万行打个 log + 耗时),就能稳住百万级 Excel 解析。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

826

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

728

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

732

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

396

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

398

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

446

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

429

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

16904

2023.08.03

漫画合集pdf网盘入口_漫画解说合集一口气看完
漫画合集pdf网盘入口_漫画解说合集一口气看完

精选高人气漫画合集PDF,一站式网盘入口直达!深度漫画解说整合,一口气看完经典与新作,剧情梳理清晰,省时省力,追漫党必看合集。

3

2026.01.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.6万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 779人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号