Go语言中Gzip解压数据不完整问题解析与io.Reader的正确使用姿势

package main

import (
    "bytes"
    "compress/gzip"
    "fmt"
    "log"
)

// long_string 假设是一个很长的字符串，例如45976个字节
var long_string string

func compress_and_uncompress_incorrect() {
    var buf bytes.Buffer
    w := gzip.NewWriter(&buf)
    i, err := w.Write([]byte(long_string))
    if err != nil {
        log.Fatal(err)
    }
    w.Close() // 必须关闭writer以确保所有数据被写入buf

    b2 := make([]byte, 80000) // 创建一个足够大的缓冲区
    r, _ := gzip.NewReader(&buf)
    j, err := r.Read(b2) // 尝试一次性读取所有数据
    if err != nil {
        log.Fatal(err)
    }
    r.Close() // 必须关闭reader

    fmt.Printf("写入字节数: %d, 读取字节数: %d\n", i, j)
}

func main() {
    // 初始化一个45976字节的字符串用于测试
    long_string = string(make([]byte, 45976))
    compress_and_uncompress_incorrect()
}

package main

import (
    "bytes"
    "compress/gzip"
    "fmt"
    "io"
    "log"
)

var long_string string // 假设这是一个很长的字符串

func compress_and_uncompress_correct() {
    var buf bytes.Buffer
    w := gzip.NewWriter(&buf)
    i, err := w.Write([]byte(long_string))
    if err != nil {
        log.Fatal(err)
    }
    w.Close() // 确保所有压缩数据写入buf

    // 用于存储解压后的所有数据
    var decompressedBuf bytes.Buffer
    r, err := gzip.NewReader(&buf)
    if err != nil {
        log.Fatal(err)
    }
    defer r.Close() // 确保reader被关闭

    // 循环读取数据直到EOF
    // io.Copy 是更简洁的实现方式，这里为了演示Read循环机制
    readBuffer := make([]byte, 4096) // 每次读取的临时缓冲区
    totalReadBytes := 0
    for {
        n, err := r.Read(readBuffer)
        if n > 0 {
            // 将读取到的数据写入到最终的解压缓冲区
            decompressedBuf.Write(readBuffer[:n])
            totalReadBytes += n
        }

        if err != nil {
            if err == io.EOF {
                break // 遇到EOF表示数据已读完
            }
            log.Fatal(err) // 处理其他读取错误
        }
    }

    fmt.Printf("写入字节数: %d, 读取字节数: %d\n", i, totalReadBytes)
    // 可以进一步验证 decompressedBuf.String() == long_string
}

func main() {
    // 初始化一个45976字节的字符串用于测试
    long_string = string(make([]byte, 45976))
    compress_and_uncompress_correct()
}

package main

import (
    "bytes"
    "compress/gzip"
    "fmt"
    "io"
    "log"
)

var long_string string

func compress_and_uncompress_with_io_copy() {
    var buf bytes.Buffer
    w := gzip.NewWriter(&buf)
    i, err := w.Write([]byte(long_string))
    if err != nil {
        log.Fatal(err)
    }
    w.Close()

    var decompressedBuf bytes.Buffer // 目标写入器
    r, err := gzip.NewReader(&buf)
    if err != nil {
        log.Fatal(err)
    }
    defer r.Close()

    // 使用io.Copy将所有解压数据从r复制到decompressedBuf
    totalReadBytes, err := io.Copy(&decompressedBuf, r)
    if err != nil {
        log.Fatal(err)
    }

    fmt.Printf("写入字节数: %d, 读取字节数: %d\n", i, totalReadBytes)
}

func main() {
    long_string = string(make([]byte, 45976))
    compress_and_uncompress_with_io_copy()
}