Go语言中实现透明（过滤式）Gzip/Gunzip数据流处理

package main

import (
    "bytes"
    "compress/gzip"
    "fmt"
    "io" // 导入io包
)

func main() {
    s := []byte("Hello world!")
    fmt.Printf("原始数据: %s\n", s)

    var b bytes.Buffer

    // 创建gzip写入器
    gz := gzip.NewWriter(&b)
    // 尝试创建gzip读取器，指向同一个缓冲区
    // 这里的NewReader会尝试立即读取gzip头部，但此时缓冲区是空的
    ungz, err := gzip.NewReader(&b) 
    fmt.Println("创建gzip读取器错误: ", err) // 此时通常会返回EOF或其他错误

    // 写入数据
    gz.Write(s)
    gz.Flush() // 刷新缓冲区，确保数据被写入

    // 尝试读取解压后的数据
    uncomp := make([]byte, 100)
    n, err2 := ungz.Read(uncomp) // 此时会因为之前的错误而无法正常读取
    fmt.Println("读取解压数据错误: ", err2)
    fmt.Println("读取字节数: ", n)
    uncomp = uncomp[:n]
    fmt.Printf("解压数据: %s\n", uncomp)
}

package main

import (
    "compress/gzip"
    "fmt"
    "io"
    "log"
)

func main() {
    originalData := []byte("Hello, world! This is a test string for gzip compression and decompression.")
    fmt.Printf("原始数据: %s\n", originalData)

    // 1. 创建io.Pipe，得到一个读端和一个写端
    pipeReader, pipeWriter := io.Pipe()

    // 2. 在一个独立的Goroutine中处理读取和解压
    // 这样做是为了让gzip.NewReader能够等待数据写入
    go func() {
        // 确保在协程结束时关闭pipeReader，通知pipeWriter不再需要数据
        defer func() {
            if err := pipeReader.Close(); err != nil {
                log.Printf("关闭pipeReader失败: %v", err)
            }
        }()

        // 创建gzip读取器，从pipeReader中读取压缩数据
        ungzReader, err := gzip.NewReader(pipeReader)
        if err != nil {
            // 如果pipeWriter在写入前关闭，这里可能会报错
            log.Printf("创建gzip读取器失败: %v", err)
            return
        }
        defer func() {
            if err := ungzReader.Close(); err != nil {
                log.Printf("关闭ungzReader失败: %v", err)
            }
        }()

        // 读取解压后的数据
        decompressedData := make([]byte, 200) // 预分配一个足够大的缓冲区
        n, err := ungzReader.Read(decompressedData)
        if err != nil && err != io.EOF {
            log.Printf("读取解压数据失败: %v", err)
            return
        }

        fmt.Printf("解压数据 (%d 字节): %s\n", n, decompressedData[:n])
    }()

    // 3. 在主Goroutine中处理写入和压缩
    // 创建gzip写入器，将压缩数据写入pipeWriter
    gzWriter := gzip.NewWriter(pipeWriter)

    // 写入原始数据
    _, err := gzWriter.Write(originalData)
    if err != nil {
        log.Fatalf("写入压缩数据失败: %v", err)
    }

    // 刷新并关闭gzip写入器，确保所有数据都被写入pipeWriter
    // 关闭gzWriter会自动关闭底层的pipeWriter
    if err := gzWriter.Close(); err != nil {
        log.Fatalf("关闭gzWriter失败: %v", err)
    }

    // 注意：这里不需要显式关闭pipeWriter，因为gzWriter.Close()会负责
    // 如果没有使用gzWriter，而是直接写入pipeWriter，则需要手动pipeWriter.Close()
    fmt.Println("数据写入和压缩完成，等待解压结果...")

    // 为了确保子协程有时间完成，实际应用中可能需要使用sync.WaitGroup
    // 这里仅为演示，通常子协程会阻塞直到数据被读取完毕
    // time.Sleep(100 * time.Millisecond) // 仅用于演示，不推荐在生产环境使用
}