使用bufio.Reader分块读取文件，结合HTTP实现分块上传，服务端按序接收并合并，支持断点续传与校验，避免内存溢出。
处理大文件分块传输时，Golang可以通过流式读取和分块发送的方式避免内存溢出，同时保证传输的稳定性和效率。核心思路是不一次性加载整个文件到内存，而是按固定大小的块逐步读取并发送。
1. 使用 bufio.Reader 分块读取文件
通过 os.Open 打开文件，并使用 bufio.Reader 配合固定缓冲区逐块读取，能有效控制内存占用。
示例代码：file, err := os.Open("largefile.zip")
if err != nil {
log.Fatal(err)
}
defer file.Close()
reader := bufio.NewReader(file)
chunkSize := 1024 * 1024 // 1MB 每块
buffer := make([]byte, chunkSize)
for {
n, err := reader.Read(buffer)
if n > 0 {
// 处理当前块：如发送到网络、写入另一文件等
processChunk(buffer[:n])
}
if err == io.EOF {
break
}
if err != nil && err != io.EOF {
log.Fatal(err)
}
}
2. 结合 HTTP 实现分块上传
在客户端将大文件分块通过 HTTP POST 发送到服务端，每个请求携带部分数据，服务端按序拼接或直接写入目标文件。
关键点：
立即学习“go语言免费学习笔记（深入）”；
- 设置合理的 Content-Length 或使用 Transfer-Encoding: chunked
- 添加分块元信息（如 chunk index、total chunks、file hash）便于校验与重组
- 服务端接收后追加写入临时文件，最后合并
客户端发送示例：
func uploadChunk(chunk []byte, index int, filename string) error {
body := &bytes.Buffer{}
writer := multipart.NewWriter(body)
_ = writer.WriteField("chunkIndex", strconv.Itoa(index))
_ = writer.WriteField("filename", filename)
part, _ := writer.CreateFormFile("data", "chunk")
part.Write(chunk)
writer.Close()
req, _ := http.NewRequest("POST", "http://server/upload", body)
req.Header.Set("Content-Type", writer.FormDataContentType())
client := &http.Client{}
resp, err := client.Do(req)
if resp != nil {
defer resp.Body.Close()
}
return err
}
3. 服务端接收并合并分块
服务端根据文件名和分块索引将数据写入对应临时位置，所有块接收完成后进行合并。
建议做法：
- 用 map 记录已接收的块，避免重复
- 使用 sync.Mutex 防止并发写冲突
- 支持断点续传：查询已有块再决定从哪开始传
合并逻辑片段：
dst, _ := os.OpenFile("final.dat", os.O_WRONLY|os.O_CREATE|os.O_APPEND, 0644)
defer dst.Close()
// 假设 chunks 已按顺序存在磁盘或内存中
for i := 0; i < total; i++ {
chunkData, _ := ioutil.ReadFile(fmt.Sprintf("temp/%spart%d", fileId, i))
dst.Write(chunkData)
}
4. 可选优化：支持断点续传与校验
为提升可靠性，可在传输前计算文件 SHA256，在每块中加入 offset 和 size 信息，接收端做完整性校验。
也可提供查询接口让客户端请求“已上传哪些块”，实现断点续传。
基本上就这些。Golang 的 io.Reader 接口设计非常适合这种场景，配合 net/http 能轻松实现高效的大文件分块传输机制。关键是不要一次性加载整个文件，控制好每次操作的数据量。不复杂但容易忽略错误处理和资源释放。
