0

0

解决XML映射过程中的内存溢出问题

畫卷琴夢

畫卷琴夢

发布时间:2026-01-27 01:07:29

|

845人浏览过

|

来源于php中文网

原创

DocumentBuilder.parse() 易触发 OOM,因其将整个XML加载为DOM树,节点对象开销大、无法流式释放、存在XXE和字符串重复等问题;应改用SAX或StAX流式解析,并禁用DTD、复用对象、合理分块处理。

解决xml映射过程中的内存溢出问题

为什么 DocumentBuilder.parse() 容易触发 OOM

Java 中用 DocumentBuilder.parse(InputStream) 解析大 XML 文件时,DOM 会把整个文档树加载进内存。哪怕只有 100MB 的 XML,实际堆内存占用可能翻倍——因为每个 ElementText、命名空间节点都带对象头、引用、字符数组副本。JVM 堆设得再大,也只是拖延 OOM 时间,不是解法。

  • DOM 不支持流式释放:解析完即全量驻留,GC 无法在解析中途回收中间节点
  • 默认 DocumentBuilderFactory 未关闭外部实体(XXE),某些 DTD 加载行为会额外拉取远程资源并缓存
  • 字符串重复:同一标签名、属性名在不同节点中被多次创建 String 实例,加剧堆压力

改用 SAXParserXMLStreamReader 的关键动作

二者都是事件驱动、只保留当前上下文,内存占用稳定在 KB 级别。选型看需求:SAX 更轻量但不可回溯;StAX(XMLStreamReader)支持部分前向移动,调试友好。

  • 禁用 DTD 和外部实体:
    System.setProperty("javax.xml.parsers.SAXParserFactory", "com.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl");
    SAXParserFactory factory = SAXParserFactory.newInstance();
    factory.setFeature("http://apache.org/xml/features/disallow-doctype-decl", true);
    factory.setFeature("http://xml.org/sax/features/external-general-entities", false);
  • 不要在 startElement() 里缓存全部文本内容——用 StringBuilder 拼接 characters() 回调,且每次处理完立即清空或复用
  • 避免在 handler 中创建新对象:重用 Attributes 参数,提取需要的属性值后立刻转成基本类型或字符串 intern

XmlMapper(Jackson Dataformat XML)解析大文件的陷阱

很多人以为 Jackson XML 是“流式”,其实 XmlMapper.readTree() 仍是 DOM 风格全量构建树,和原生 DOM 一样吃内存。真正安全的是 JsonParser + 手动遍历 token 流。

DeepL Write
DeepL Write

DeepL推出的AI驱动的写作助手,在几秒钟内完善你的写作

下载
  • 必须用 XmlFactory.createParser(InputStream) 获取 JsonParser,而非 readValue()
  • 跳过无关字段用 parser.nextToken() + parser.getCurrentName() 判断,不要调用 parser.readValueAsTree()
  • 数值字段优先用 parser.getIntValue()parser.getDecimalValue(),避免构造临时字符串
  • 注意默认 XmlFactory 允许 DTD:需显式设置 factory.configure(FromXmlParser.Feature.USE_DTD, false)

真实场景下的分块与限流策略

即使用了流式解析,如果业务逻辑本身要聚合数据(比如按 分组统计),仍可能因缓存太多中间结果而 OOM。这时不能只依赖解析器,得配合业务切分。

  • CountingInputStream(Apache Commons IO)监控已读字节数,每 50MB 主动触发一次 flush + checkpoint
  • 对重复结构(如订单列表),用「解析即处理」模式:遇到 开始就 new 对象,结束就入库/发消息,不存 List
  • 若必须暂存,用 WeakHashMap 或软引用缓存计算结果,避免强引用锁死内存
  • 生产环境务必加 JVM 参数:-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/heap.hprof,OOM 后直接看哪个类实例最多

最常被忽略的一点:XML 命名空间声明(xmlns)虽不占数据体积,但每个带 namespace 的元素都会触发 NamespaceContext 初始化和缓存——在百万级节点场景下,这部分对象能占到堆的 15% 以上。解析前先确认是否真需要 namespace 支持,不需要就关掉 factory.setNamespaceAware(false)

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

868

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

745

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

741

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

398

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

420

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

447

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

431

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

16948

2023.08.03

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

31

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 2.9万人学习

C# 教程
C# 教程

共94课时 | 7.6万人学习

Java 教程
Java 教程

共578课时 | 51.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号