gzip.Writer写入后必须调用Close才能完成压缩并写入CRC等尾部数据,否则文件为空或损坏;读取.gz文件需用gzip.NewReader解包,不可直接os.Open。

gzip.Writer 写入时必须调用 Close 才能完成压缩
不调用 Close() 会导致输出文件为空或损坏,因为 gzip.Writer 内部缓冲区未刷新、压缩尾部(如 CRC 和长度)未写入。常见现象是生成的 .gz 文件无法解压,gunzip -t 报 unexpected end of file。
正确流程是:打开目标文件 → 构造 gzip.NewWriter → 写入原始数据 → 必须显式调用 w.Close() → 关闭底层文件。
file, _ := os.Create("data.txt.gz")
defer file.Close()
gz := gzip.NewWriter(file)
defer gz.Close() // 这行不能省;但注意:此处 defer 在函数返回时才执行,若需立即落盘应手动调用
_, _ = gz.Write([]byte("hello world"))
gz.Close() // 确保压缩元数据写入
compress/gzip 不支持直接压缩目录,需自行遍历
compress/gzip 只处理单个 io.Writer 流,没有内置 zip 或 tar 封装能力。想压缩整个文件夹,得组合 filepath.Walk + archive/tar + gzip.Writer。
- 单独用
gzip只能压缩一个文件(如把log.txt变成log.txt.gz) - 要打包多个文件或保留路径结构,必须先用
tar.Writer打包为流,再套一层gzip.Writer - 注意:tar 本身不压缩,gzip 不打包 —— 二者职责分明,缺一不可
设置 gzip.Level 影响压缩率和 CPU 占用
gzip.NewWriterLevel 允许指定压缩级别,范围是 gzip.NoCompression(0)到 gzip.BestCompression(9)。默认是 gzip.DefaultCompression(6)。
立即学习“go语言免费学习笔记(深入)”;
-
gzip.NoCompression:几乎不压缩,速度最快,适合实时日志转发场景 -
gzip.BestSpeed(1):侧重吞吐,压缩率低但写入延迟小 -
gzip.BestCompression(9):CPU 消耗高,适合离线归档 - 生产中建议用
gzip.BestSpeed或gzip.DefaultCompression,避免阻塞 I/O 线程
gz, _ := gzip.NewWriterLevel(file, gzip.BestSpeed)
读取 .gz 文件要用 gzip.NewReader,不是 os.Open 直接读
直接 os.Open 读取 .gz 文件得到的是压缩后的二进制流,内容不可读。必须用 gzip.NewReader 解包后再读原始数据。
常见错误:忘记调用 g.Reader.Close()(虽然多数情况不影响,但资源未释放),或对已关闭的 gzip.Reader 重复读取导致 io.ErrUnexpectedEOF。
file, _ := os.Open("data.txt.gz")
defer file.Close()
g, _ := gzip.NewReader(file)
defer g.Close() // 必须调用,否则底层 reader 泄露
data, _ := io.ReadAll(g) // 这里读到的是解压后的内容
gzip 的核心就两件事:写入时封包要 Close,读取时解包要 NewReader。其它所有“压缩目录”“高压缩率”“流式处理”都是在这两个动作上叠加的封装逻辑。










