本文介绍如何通过 saxonc python api（`saxonche`）替代反复调用命令行 saxon 的低效方式，显著提升数千个 xml 文件的批量 xslt 处理性能，并提供线程优化与代码结构建议。
在处理成千上万个 XML 文件时，频繁启动 JVM 并调用 java -cp ... net.sf.saxon.Transform 是性能瓶颈的根本原因——每次调用均需加载 Saxon 库、解析 XSLT、初始化处理器、建立上下文，开销巨大。解决方案是复用 Saxon 处理器实例，将 XSLT 编译一次、重复执行多次转换。SaxonC（尤其是 v12+ 的 saxonche PyPI 包）专为此类嵌入式高性能场景设计，它基于 C++ 核心（而非纯 Java），启动快、内存可控、支持 Python 原生调用，且完全兼容 XSLT 3.0。
以下为推荐的重构方案：
✅ 步骤一：安装与基础集成
pip install saxonche
✅ 步骤二：重写转换逻辑（单线程高效版）
from saxonche import PySaxonProcessor
import os
def transform_file(saxon_proc, executable, input_path, output_path):
# 直接解析 XML（无需引号包裹，路径由 Python 原生处理）
xdm_input = saxon_proc.parse_xml(xml_file_name=input_path)
# 设置全局上下文项（可选，取决于 XSLT 是否依赖 document() 或动态上下文）
executable.set_global_context_item(xdm_item=xdm_input)
# 执行转换并直接写入文件（避免内存中构建大字符串）
executable.apply_templates_returning_file(
xdm_value=xdm_input,
output_file=output_path
)
# 主流程：复用处理器与编译后的样式表
with PySaxonProcessor(license=False) as proc: # license=True 若使用 EE 版功能
xslt_proc = proc.new_xslt30_processor()
# ⚡ 关键：XSLT 仅编译一次！
executable = xslt_proc.compile_stylesheet(stylesheet_file="transform.xsl")
for root, dirs, files in os.walk(folderXmlSource):
for file in files:
if not file.endswith('.xml'):
continue
input_path = os.path.join(root, file)
output_path = os.path.join(folderTxtTemp, f"{os.path.splitext(file)[0]}.txt")
try:
transform_file(proc, executable, input_path, output_path)
print(f"✅ Processed: {input_path}")
finalize(output_path) # 合并至最终结果文件
except Exception as e:
errorLog.write(f"{input_path} → {str(e)}\n")✅ 优势说明： 避免了每次 subprocess.run() 的 JVM 启动（节省 ~300–800ms/次）； XSLT 编译（含语法检查、优化）仅执行一次； parse_xml() 和 apply_templates_returning_file() 均为原生 C++ 调用，无序列化开销； Windows 下自动支持长路径（\\\\?\\ 已由 Python os.path 内部处理，无需手动拼接）。
✅ 步骤三：进阶提速 —— 并行处理（推荐 ThreadPoolExecutor）
SaxonC 实例线程安全（每个线程应使用独立 XsltExecutable 或共享编译后对象），但更稳妥的做法是：主线程编译样式表，工作线程各自创建轻量级处理器。参考 Martin Honnen 的线程池示例，精简实现如下：
from concurrent.futures import ThreadPoolExecutor, as_completed
import threading
# 全局编译一次（线程安全）
with PySaxonProcessor() as proc:
compiled_xslt = proc.new_xslt30_processor().compile_stylesheet(stylesheet_file="transform.xsl")
def process_single_file(args):
input_path, output_path = args
# 每个工作线程创建自己的处理器（轻量，无状态）
with PySaxonProcessor() as local_proc:
exec_local = local_proc.new_xslt30_processor().compile_stylesheet(stylesheet_file="transform.xsl")
xdm_in = local_proc.parse_xml(xml_file_name=input_path)
exec_local.apply_templates_returning_file(xdm_value=xdm_in, output_file=output_path)
return input_path
# 并行处理（建议 workers = CPU核心数 或 4–8，避免 I/O 瓶颈）
file_list = [
(os.path.join(root, f), os.path.join(folderTxtTemp, f"{os.path.splitext(f)[0]}.txt"))
for root, _, files in os.walk(folderXmlSource)
for f in files if f.endswith('.xml')
]
with ThreadPoolExecutor(max_workers=6) as executor:
futures = {executor.submit(process_single_file, args): args for args in file_list}
for future in as_completed(futures):
try:
result = future.result()
finalize(futures[future][1])
except Exception as e:
errorLog.write(f"{futures[future][0]} → {e}\n")⚠️ 注意事项与调优建议
- XSLT 优化：当前 XSLT 中大量使用 //System:FileName（深度优先全树扫描）在大数据集下代价高。若元素位置固定（如 /root/metadata/System:FileName），请改用绝对路径提升 5–10× 速度；
-
输出格式简化：若最终只需纯文本行（非 XML），可在 XSLT 中设置 ，并直接
输出，避免生成临时 XML 再解析； - 内存监控：SaxonC 默认内存充足，但处理超大 XML 时可传参 PySaxonProcessor(he=False, config={'maxMemory': '2g'})；
- 错误处理：saxonche 抛出 SaxonApiException，建议显式捕获而非 except:，便于定位 XSLT 错误位置；
- Windows 长路径：Python 3.6+ 默认启用长路径支持，无需 \\\\?\\ 前缀（除非路径 > 260 字符且系统未启用组策略）。
综上，从“进程级调用”升级为“库级复用”，配合合理并行，通常可将总耗时从数小时降至数分钟。这是企业级 XML 批量处理的标准工程实践。
立即学习“Python免费学习笔记（深入）”；
