Golang 文件上传下载并发控制示例-Golang-PHP中文网

Golang 文件上传下载并发控制示例

P粉602998670

发布： 2025-10-12 13:16:01

原创

266人浏览过

使用带缓冲channel控制并发，通过信号量限制最大goroutine数，避免资源耗尽。示例中以5个并发为限，封装ConcurrencyLimiter实现上传下载任务的可控执行，确保高并发下系统稳定。

golang 文件上传下载并发控制示例

在使用 Golang 实现文件上传和下载服务时，面对高并发场景，如果不加以控制，可能会导致内存暴涨、句柄耗尽或服务器负载过高。因此，引入并发控制机制非常必要。下面是一个简单实用的示例，展示如何通过带缓冲的 channel 控制最大并发数，适用于文件上传和下载场景。

1. 并发控制基本思路

使用一个带缓冲的 channel 作为信号量，限制同时运行的 goroutine 数量。每开始一个上传或下载任务前，先从 channel 获取一个“许可”，任务完成后释放它。

示例：最大并发数为 5

var semaphore = make(chan struct{}, 5) // 最多允许 5 个并发
<p>func acquire() { semaphore <- struct{}{} }
func release() { <-semaphore }

登录后复制

2. 文件下载的并发控制

以下是一个受控并发的文件下载函数示例：

立即学习“go语言免费学习笔记（深入）”；

func downloadFile(url, filename string) error {
    acquire()
    defer release()
<pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">resp, err := http.Get(url)
if err != nil {
    return err
}
defer resp.Body.Close()

out, err := os.Create(filename)
if err != nil {
    return err
}
defer out.Close()

_, err = io.Copy(out, resp.Body)
return err

登录后复制

}

启动多个下载任务时，超出并发限制的任务会自动等待：

芦笋演示

一键出成片的录屏演示软件，专为制作产品演示、教学课程和使用教程而设计。

查看详情

urls := []string{
    "https://example.com/file1.zip",
    "https://example.com/file2.zip",
    // ...
}
<p>var wg sync.WaitGroup
for i, url := range urls {
wg.Add(1)
go func(u string, idx int) {
defer wg.Done()
err := downloadFile(u, fmt.Sprintf("file_%d.zip", idx))
if err != nil {
log.Printf("下载失败 %s: %v", u, err)
} else {
log.Printf("下载完成: %s", u)
}
}(url, i)
}
wg.Wait()

登录后复制

3. 文件上传的并发控制

上传逻辑类似，只是方向相反。以下是一个 multipart 文件上传并受并发控制的例子：

func uploadFile(filepath, url string) error {
    acquire()
    defer release()
<pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">file, err := os.Open(filepath)
if err != nil {
    return err
}
defer file.Close()

body := &bytes.Buffer{}
writer := multipart.NewWriter(body)
part, _ := writer.CreateFormFile("upload", filepath)
io.Copy(part, file)
writer.Close()

req, _ := http.NewRequest("POST", url, body)
req.Header.Set("Content-Type", writer.FormDataContentType())

client := &http.Client{}
resp, err := client.Do(req)
if resp != nil {
    defer resp.Body.Close()
}
return err

登录后复制

}

同样地，使用 WaitGroup 控制多个上传任务：

files := []string{"a.pdf", "b.pdf", "c.pdf"}
for _, f := range files {
    wg.Add(1)
    go func(fpath string) {
        defer wg.Done()
        err := uploadFile(fpath, "https://example.com/upload")
        if err != nil {
            log.Printf("上传失败 %s: %v", fpath, err)
        }
    }(f)
}
wg.Wait()
</p><H3>4. 可复用的并发控制器</H3><p>为了更灵活，可以封装一个通用的并发任务执行器：</p><p><pre class="brush:php;toolbar:false;"><code>type ConcurrencyLimiter struct {
    sem chan struct{}
}
<p>func NewConcurrencyLimiter(n int) *ConcurrencyLimiter {
return &ConcurrencyLimiter{
sem: make(chan struct{}, n),
}
}</p><p>func (l *ConcurrencyLimiter) Run(task func()) {
l.sem <- struct{}{}
go func() {
defer func() { <-l.sem }()
task()
}()
}

登录后复制

使用方式：

limiter := NewConcurrencyLimiter(5)
<p>for _, url := range urls {
limiter.Run(func() {
downloadFile(url, "local_file")
})
}

登录后复制

基本上就这些。通过 channel 控制并发是一种简洁高效的方式，适用于上传、下载、爬虫等 I/O 密集型任务。关键是避免无限制地启动 goroutine，防止系统资源被耗尽。

以上就是Golang 文件上传下载并发控制示例的详细内容，更多请关注php中文网其它相关文章！

大家都在看：

理解Go语言中的闭包：直接调用与指针使用的差异构建Go语言IMAP服务器：协议解析与实现指南使用 Go 的 FileServer 安全地提供静态文件使用 Go FileServer 安全地提供静态文件 Golang如何使用go mod初始化项目_Golang go mod初始化操作详解