如何在 Golang 中做大文件分片上传_Golang HTTP 并发上传与重试机制-Golang-PHP中文网

如何在 Golang 中做大文件分片上传_Golang HTTP 并发上传与重试机制

P粉602998670

发布： 2025-11-24 21:08:01

原创

677人浏览过

分片上传可避免大文件传输问题，Golang通过goroutine并发上传分片、channel控制并发数，并结合指数退避重试机制提升稳定性，同时需关注进度反馈、断点续传与资源管理。

如何在 golang 中做大文件分片上传_golang http 并发上传与重试机制

大文件上传在实际开发中很常见，直接一次性上传容易导致内存溢出、网络超时或失败后无法续传。Golang 凭借其高效的并发模型和简洁的 HTTP 支持，非常适合实现大文件分片上传，同时结合重试机制提升稳定性。

分片上传的基本流程

分片上传的核心思想是将大文件切分为多个小块，逐个上传，服务端再按序合并。主要步骤包括：

计算文件大小并划分分片：根据预设的分片大小（如 5MB）将文件切块
生成唯一标识：为每个文件生成 uploadId，用于服务端追踪上传状态
并发上传分片：使用 goroutine 并行发送多个分片请求
记录已上传分片信息：保存每个分片的编号和 ETag（或其他校验值）
通知服务端合并：所有分片完成后发起合并请求

使用 Goroutine 实现并发上传

Golang 的 goroutine 能轻松实现高并发上传任务。通过 channel 控制并发数，避免系统资源耗尽。

示例代码片段：

const concurrentUploads = 5
const chunkSize = 5 * 1024 * 1024 // 5MB
<p>func uploadFileInChunks(filePath, uploadURL string) error {
file, err := os.Open(filePath)
if err != nil {
return err
}
defer file.Close()</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">fi, _ := file.Stat()
fileSize := fi.Size()
chunks := (fileSize + chunkSize - 1) / chunkSize

uploadChan := make(chan int, chunks)
resultChan := make(chan error, chunks)

// 启动 worker
for i := 0; i < concurrentUploads; i++ {
    go func() {
        for chunkIndex := range uploadChan {
            if err := uploadChunk(file, uploadURL, chunkIndex); err != nil {
                resultChan <- fmt.Errorf("failed to upload chunk %d: %v", chunkIndex, err)
                return
            }
            resultChan <- nil
        }
    }()
}

// 分发任务
for i := 0; i < int(chunks); i++ {
    uploadChan <- i
}
close(uploadChan)

// 检查结果
for i := 0; i < int(chunks); i++ {
    if err := <-resultChan; err != nil {
        return err
    }
}

return nil

登录后复制

}

加入重试机制提升容错能力

网络不稳定时，单个分片可能失败。加入指数退避重试可显著提高成功率。

立即学习“go语言免费学习笔记（深入）”；

畅图

AI可视化工具

147

查看详情

关键点：

设置最大重试次数：例如最多重试 3 次
使用 time.Sleep 进行延迟：每次等待时间逐渐增加
捕获 HTTP 错误码：对 5xx 或连接超时进行重试

重试逻辑示例：

func uploadWithRetry(req *http.Request, maxRetries int) (*http.Response, error) {
    var resp *http.Response
    var err error
<pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">for i := 0; i <= maxRetries; i++ {
    client := &http.Client{Timeout: 30 * time.Second}
    resp, err = client.Do(req)
    if err == nil && (resp.StatusCode >= 200 && resp.StatusCode < 300) {
        return resp, nil
    }

    if resp != nil {
        resp.Body.Close()
    }

    if i < maxRetries {
        sleepTime := time.Second * time.Duration(1<<uint(i)) // 指数退避
        time.Sleep(sleepTime)
    }
}

return nil, fmt.Errorf("upload failed after %d retries: %v", maxRetries, err)

登录后复制

}