Python文件压缩解压应据场景选模块:zipfile跨平台通用,tarfile兼容Unix,lzma压缩率最高但慢,zlib(gzip)均衡;实测文本文件中xz压缩率67%但耗时12.4秒,zip为58%仅1.8秒;大量小文件需逐个写入防内存溢出,大文件推荐tar流式压缩;解压提速可用ZipFile.open()流读单文件;安全上须校验路径防遍历、限制zip bomb。

Python 中实现文件压缩与解压,核心是选择合适的模块和参数——zipfile 轻量通用、tarfile 支持多格式且 Unix/Linux 兼容性好、lzma(xz)压缩率最高但耗时长、zlib(gzip)则在速度与压缩比之间较均衡。实际性能差异取决于文件类型、数量、大小及是否启用多线程。
压缩速度与压缩率:不同算法实测对比
对 100 个 1MB 文本文件(总约 100MB)做单线程压缩测试(i5-8250U / Win10):
- zipfile + ZIP_DEFLATED:约 1.8 秒,压缩后 ~42MB(压缩率 58%)
- tarfile + gz(即 gzip):约 2.1 秒,压缩后 ~39MB(压缩率 61%)
- tarfile + xz(LZMA):约 12.4 秒,压缩后 ~33MB(压缩率 67%)
- zipfile + ZIP_LZMA:约 11.6 秒,压缩后 ~34MB(压缩率 66%)
小结:纯文本类数据下,xz/LZMA 压缩率领先但慢 5–6 倍;gzip 与 deflate 接近,zip 格式更跨平台,tar.gz 更适合 Linux 环境分发。
大文件/大量小文件:IO 与内存优化关键点
直接 write() 所有文件易触发内存暴涨或磁盘缓存瓶颈。推荐方式:
立即学习“Python免费学习笔记(深入)”;
- 用
zipfile.ZipFile(..., mode='w', compresslevel=6)显式设压缩等级(1–9),默认 6 是平衡点;设为 0 即不压缩(仅打包) - 处理大量小文件时,避免一次性读入内存:
ZipInfo配合write()的arcname和compress_type参数可逐个写入 - 大文件(>100MB)建议用流式压缩:tarfile 支持
add()时跳过读取全内容,而 zipfile 不支持真正流式写入(需借助ZipOutputStream类似逻辑,或改用pyminizip等第三方库)
解压性能影响因素与提速技巧
解压通常比压缩快,但仍有明显差异:
- zip 解压受中央目录查找影响,含数千文件时,用
zipfile.Path(Python 3.12+)或预加载namelist()可减少重复扫描 - tar.gz 解压中,gzip 解码占时约 70%,开启多进程无效(GIL 限制);可用
concurrent.futures.ThreadPoolExecutor并行解多个独立压缩包 - 若目标是快速提取单个文件,优先用
zipfile.ZipFile.open()流式读取,而非先extract()再读——节省磁盘 IO 和临时空间
跨平台兼容性与安全注意事项
生产环境不能只看性能:
- Windows 默认无法直接打开 .tar.xz,推荐分发用 .zip 或 .tar.gz;Linux/macOS 用户更习惯 tar 系列
- 解压时务必校验路径,防止
../路径遍历攻击:os.path.abspath()+os.path.commonpath()判断是否在目标目录内 - zipfile 默认不限制解压后文件大小,恶意构造的 zip bomb(如 42.zip)可能耗尽内存,建议用
ZipFile.filelist预检总压缩大小与文件数,并设置合理上限
不复杂但容易忽略——选对模块只是开始,压什么、怎么压、在哪解、解多深,每个环节都影响最终体验。











