Golang文件压缩与网络传输结合方法-Golang-PHP中文网

Golang文件压缩与网络传输结合方法

P粉602998670

发布： 2025-09-08 10:19:01

原创

310人浏览过

Go语言通过gzip与HTTP流式传输结合实现高效文件传输，节省带宽且避免内存溢出。服务端读取文件后经gzip压缩直接写入响应流，客户端根据Content-Encoding头判断并解压。多文件场景可使用tar打包后gzip压缩，客户端依次解压解包。核心是利用io.Copy进行流式处理，配合defer关闭资源，使用bufio优化性能，实现大文件安全高效传输。

golang文件压缩与网络传输结合方法

在Go语言开发中，文件压缩与网络传输结合常用于提升传输效率、减少带宽消耗。常见场景包括文件上传服务、日志归档、微服务间数据交换等。Golang标准库提供了强大的支持，通过 compress/gzip 和 net/http 等包，可以高效实现压缩后直接传输，无需中间落地文件。

使用gzip压缩并通过HTTP传输

最常见的方式是将文件内容用gzip压缩，然后通过HTTP流式发送。这样既能节省带宽，又能避免内存溢出。

示例代码：

package main

import (
    "compress/gzip"
    "io"
    "net/http"
    "os"
)

func handler(w http.ResponseWriter, r *http.Request) {
    file, err := os.Open("data.txt")
    if err != nil {
        http.Error(w, "无法打开文件", http.StatusInternalServerError)
        return
    }
    defer file.Close()

    // 设置响应头，告知客户端内容已压缩
    w.Header().Set("Content-Encoding", "gzip")
    w.Header().Set("Content-Type", "application/octet-stream")

    // 用gzip.Writer包装ResponseWriter
    gz := gzip.NewWriter(w)
    defer gz.Close()

    // 直接将文件内容写入gzip流
    _, err = io.Copy(gz, file)
    if err != nil {
        return // 错误通常由客户端断开引起
    }
}

登录后复制

该方法优点是边读边压边发，内存占用低，适合大文件传输。

立即学习“go语言免费学习笔记（深入）”；

接收端解压处理

接收方需识别 Content-Encoding: gzip 并使用gzip.Reader解压。

客户端示例：

resp, err := http.Get("http://example.com/file")
if err != nil {
    log.Fatal(err)
}
defer resp.Body.Close()

var reader io.ReadCloser
if resp.Header.Get("Content-Encoding") == "gzip" {
    reader, err = gzip.NewReader(resp.Body)
    if err != nil {
        log.Fatal(err)
    }
    defer reader.Close()
} else {
    reader = resp.Body
}

// 将解压后的内容保存到本地
out, err := os.Create("received.txt")
if err != nil {
    log.Fatal(err)
}
defer out.Close()

io.Copy(out, reader)

登录后复制

此方式兼容性强，能自动判断是否需要解压。

FaceSwapper

FaceSwapper是一款AI在线换脸工具，可以让用户在照片和视频中无缝交换面孔。

729

查看详情

多文件打包压缩（tar + gzip）

若需传输多个文件，建议使用 tar 打包后再用 gzip 压缩，形成 .tar.gz 格式。

服务端可这样处理：

tarGzWriter := gzip.NewWriter(w)
tarWriter := tar.NewWriter(tarGzWriter)

for _, filename := range []string{"file1.txt", "file2.txt"} {
    f, _ := os.Open(filename)
    fi, _ := f.Stat()
    header, _ := tar.FileInfoHeader(fi, "")
    tarWriter.WriteHeader(header)
    io.Copy(tarWriter, f)
    f.Close()
}

tarWriter.Close()
tarGzWriter.Close()

登录后复制

客户端收到后依次用 gzip.Reader 和 tar.Reader 解包即可。