Golang如何处理大文件分块传输-Golang-PHP中文网

Golang如何处理大文件分块传输

P粉602998670

发布： 2025-10-03 18:50:02

原创

774人浏览过

使用bufio.Reader分块读取文件，结合HTTP实现分块上传，服务端按序接收并合并，支持断点续传与校验，避免内存溢出。

golang如何处理大文件分块传输

处理大文件分块传输时，Golang可以通过流式读取和分块发送的方式避免内存溢出，同时保证传输的稳定性和效率。核心思路是不一次性加载整个文件到内存，而是按固定大小的块逐步读取并发送。

1. 使用 bufio.Reader 分块读取文件

通过 os.Open 打开文件，并使用 bufio.Reader 配合固定缓冲区逐块读取，能有效控制内存占用。

示例代码：

file, err := os.Open("largefile.zip")
if err != nil {
    log.Fatal(err)
}
defer file.Close()
<p>reader := bufio.NewReader(file)
chunkSize := 1024 * 1024 // 1MB 每块
buffer := make([]byte, chunkSize)</p><p>for {
n, err := reader.Read(buffer)
if n > 0 {
// 处理当前块：如发送到网络、写入另一文件等
processChunk(buffer[:n])
}
if err == io.EOF {
break
}
if err != nil && err != io.EOF {
log.Fatal(err)
}
}

登录后复制

2. 结合 HTTP 实现分块上传

在客户端将大文件分块通过 HTTP POST 发送到服务端，每个请求携带部分数据，服务端按序拼接或直接写入目标文件。

关键点：

立即学习“go语言免费学习笔记（深入）”；

设置合理的 Content-Length 或使用 Transfer-Encoding: chunked
添加分块元信息（如 chunk index、total chunks、file hash）便于校验与重组
服务端接收后追加写入临时文件，最后合并

客户端发送示例：

func uploadChunk(chunk []byte, index int, filename string) error {
    body := &bytes.Buffer{}
    writer := multipart.NewWriter(body)
<pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">_ = writer.WriteField("chunkIndex", strconv.Itoa(index))
_ = writer.WriteField("filename", filename)

part, _ := writer.CreateFormFile("data", "chunk")
part.Write(chunk)

writer.Close()

req, _ := http.NewRequest("POST", "http://server/upload", body)
req.Header.Set("Content-Type", writer.FormDataContentType())

client := &http.Client{}
resp, err := client.Do(req)
if resp != nil {
    defer resp.Body.Close()
}
return err

登录后复制

}

3. 服务端接收并合并分块

服务端根据文件名和分块索引将数据写入对应临时位置，所有块接收完成后进行合并。

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

查看详情

建议做法：

用 map 记录已接收的块，避免重复
使用 sync.Mutex 防止并发写冲突
支持断点续传：查询已有块再决定从哪开始传

合并逻辑片段：

dst, _ := os.OpenFile("final.dat", os.O_WRONLY|os.O_CREATE|os.O_APPEND, 0644)
defer dst.Close()
<p>// 假设 chunks 已按顺序存在磁盘或内存中
for i := 0; i < total; i++ {
chunkData, _ := ioutil.ReadFile(fmt.Sprintf("temp/%s<em>part</em>%d", fileId, i))
dst.Write(chunkData)
}

登录后复制