使用带缓冲channel控制并发，通过信号量限制最大goroutine数，避免资源耗尽。示例中以5个并发为限，封装ConcurrencyLimiter实现上传下载任务的可控执行，确保高并发下系统稳定。
在使用 Golang 实现文件上传和下载服务时，面对高并发场景，如果不加以控制，可能会导致内存暴涨、句柄耗尽或服务器负载过高。因此，引入并发控制机制非常必要。下面是一个简单实用的示例，展示如何通过带缓冲的 channel 控制最大并发数，适用于文件上传和下载场景。
1. 并发控制基本思路
使用一个带缓冲的 channel 作为信号量，限制同时运行的 goroutine 数量。每开始一个上传或下载任务前，先从 channel 获取一个“许可”，任务完成后释放它。
示例：最大并发数为 5
var semaphore = make(chan struct{}, 5) // 最多允许 5 个并发
func acquire() { semaphore <- struct{}{} }
func release() { <-semaphore }
2. 文件下载的并发控制
以下是一个受控并发的文件下载函数示例：
立即学习“go语言免费学习笔记（深入）”；
func downloadFile(url, filename string) error {
acquire()
defer release()
resp, err := http.Get(url)
if err != nil {
return err
}
defer resp.Body.Close()
out, err := os.Create(filename)
if err != nil {
return err
}
defer out.Close()
_, err = io.Copy(out, resp.Body)
return err
}
启动多个下载任务时，超出并发限制的任务会自动等待：
启科PHP淘宝客系统
1、请上传下载到的淘宝客系统安装包并上传到空间根目录中进行解压，解压后将网站文件移动到根目录的位置，然后访问 /install 进行安装。您也可以在本地解压，并以二进制方式将程序上传至您的网站空间。 2、同意启科网络电子商务系统安装协议进入下一步。 3、如果系统检测环境通过，则会提示输入您的数据库服务器地址（一般为本机，即127.0.0.1或者localhost）、数据库账号、数据库密码、数据库名
下载
urls := []string{
"https://example.com/file1.zip",
"https://example.com/file2.zip",
// ...
}
var wg sync.WaitGroup
for i, url := range urls {
wg.Add(1)
go func(u string, idx int) {
defer wg.Done()
err := downloadFile(u, fmt.Sprintf("file_%d.zip", idx))
if err != nil {
log.Printf("下载失败 %s: %v", u, err)
} else {
log.Printf("下载完成: %s", u)
}
}(url, i)
}
wg.Wait()
3. 文件上传的并发控制
上传逻辑类似，只是方向相反。以下是一个 multipart 文件上传并受并发控制的例子：
func uploadFile(filepath, url string) error {
acquire()
defer release()
file, err := os.Open(filepath)
if err != nil {
return err
}
defer file.Close()
body := &bytes.Buffer{}
writer := multipart.NewWriter(body)
part, _ := writer.CreateFormFile("upload", filepath)
io.Copy(part, file)
writer.Close()
req, _ := http.NewRequest("POST", url, body)
req.Header.Set("Content-Type", writer.FormDataContentType())
client := &http.Client{}
resp, err := client.Do(req)
if resp != nil {
defer resp.Body.Close()
}
return err
}
同样地，使用 WaitGroup 控制多个上传任务：
files := []string{"a.pdf", "b.pdf", "c.pdf"}
for _, f := range files {
wg.Add(1)
go func(fpath string) {
defer wg.Done()
err := uploadFile(fpath, "https://example.com/upload")
if err != nil {
log.Printf("上传失败 %s: %v", fpath, err)
}
}(f)
}
wg.Wait()
4. 可复用的并发控制器
为了更灵活，可以封装一个通用的并发任务执行器：
type ConcurrencyLimiter struct {
sem chan struct{}
}
func NewConcurrencyLimiter(n int) *ConcurrencyLimiter {
return &ConcurrencyLimiter{
sem: make(chan struct{}, n),
}
}
func (l *ConcurrencyLimiter) Run(task func()) {
l.sem <- struct{}{}
go func() {
defer func() { <-l.sem }()
task()
}()
}
使用方式：
limiter := NewConcurrencyLimiter(5)
for _, url := range urls {
limiter.Run(func() {
downloadFile(url, "local_file")
})
}
基本上就这些。通过 channel 控制并发是一种简洁高效的方式，适用于上传、下载、爬虫等 I/O 密集型任务。关键是避免无限制地启动 goroutine，防止系统资源被耗尽。
