Go语言中gzip解压的正确姿势：理解io.Reader的分块读取机制

package main

import (
    "bytes"
    "compress/gzip"
    "fmt"
    "log"
)

// long_string 假设是一个很长的字符串，例如45976个字节
var long_string string

func init() {
    // 初始化一个足够长的字符串用于测试
    long_string = string(make([]byte, 45976))
}

func compress_and_uncompress_problematic() {
    var buf bytes.Buffer
    // 1. 压缩数据写入bytes.Buffer
    w := gzip.NewWriter(&buf)
    i, err := w.Write([]byte(long_string))
    if err != nil {
        log.Fatal(err)
    }
    w.Close() // 必须关闭writer，确保所有压缩数据写入底层buf

    // 2. 从bytes.Buffer中解压数据
    b2 := make([]byte, 80000) // 创建一个足够大的缓冲区
    r, err := gzip.NewReader(&buf)
    if err != nil {
        log.Fatal(err)
    }
    j, err := r.Read(b2) // 第一次读取
    if err != nil {
        log.Fatal(err)
    }
    r.Close() // 关闭reader

    fmt.Printf("写入字节数: %d, 读取字节数: %d\n", i, j)
    // 预期输出可能为: 写入字节数: 45976, 读取字节数: 32768
    // 显然，第一次读取并未获取所有数据
}

func main() {
    compress_and_uncompress_problematic()
}

package main

import (
    "bytes"
    "compress/gzip"
    "fmt"
    "io"
    "log"
)

// long_string 假设是一个很长的字符串，例如45976个字节
var long_string string

func init() {
    // 初始化一个足够长的字符串用于测试
    long_string = string(make([]byte, 45976))
}

func compress_and_uncompress_correct() {
    var buf bytes.Buffer
    // 1. 压缩数据写入bytes.Buffer
    w := gzip.NewWriter(&buf)
    i, err := w.Write([]byte(long_string))
    if err != nil {
        log.Fatal(err)
    }
    w.Close() // 确保所有压缩数据写入

    // 2. 从bytes.Buffer中解压数据
    r, err := gzip.NewReader(&buf)
    if err != nil {
        log.Fatal(err)
    }
    defer r.Close() // 确保reader在函数退出时关闭

    // 用于存储所有解压数据的切片
    var decompressedData bytes.Buffer
    // 临时缓冲区，每次读取时使用
    tempBuf := make([]byte, 32*1024) // 每次读取32KB

    totalReadBytes := 0
    for {
        n, err := r.Read(tempBuf)
        if n > 0 {
            // 将读取到的数据写入到最终的缓冲区中
            decompressedData.Write(tempBuf[:n])
            totalReadBytes += n
        }

        if err != nil {
            if err == io.EOF {
                // 读取到文件末尾
                break
            }
            // 其他错误
            log.Fatal(err)
        }
    }

    fmt.Printf("写入字节数: %d, 读取字节数: %d\n", i, totalReadBytes)
    // 验证数据是否完整
    // fmt.Println("解压后的数据长度:", decompressedData.Len())
    // fmt.Println("原始数据长度:", len(long_string))
    // fmt.Println("数据是否一致:", decompressedData.String() == long_string)
}

func main() {
    compress_and_uncompress_correct()
}

写入字节数: 45976, 读取字节数: 45976