Go并发处理文件需避免竞态、控制资源：读取时每文件独立打开/关闭并限流；写入必须串行化（channel）或原子重命名临时文件，禁用多goroutine直写同一文件。
Go 语言中并发处理文件不是简单起 Goroutine 就行，关键在于避免竞态、控制资源消耗、区分读/写场景。盲目用 go 启动大量 goroutine 读写同一文件或目录，大概率触发 too many open files、permission denied 或数据错乱。
如何安全地并发读取多个文件
适合批量解析日志、配置、JSON 列表等场景。核心是：每个文件独立打开/关闭，不共享句柄，用 sync.WaitGroup 等待全部完成。
- 不要复用
*os.File句柄跨 goroutine —— 即使只读，也可能因底层缓冲或 seek 位置引发不可预测行为 - 限制并发数，避免系统级文件描述符耗尽；可用带缓冲的 channel 控制“活跃 goroutine 数量”
- 错误必须在 goroutine 内捕获并传递出去（如通过
errChan := make(chan error, n)）
func readFilesConcurrently(paths []string, maxWorkers int) []error {
errChan := make(chan error, len(paths))
var wg sync.WaitGroup
sem := make(chan struct{}, maxWorkers) // 信号量控制并发
for _, path := range paths {
wg.Add(1)
go func(p string) {
defer wg.Done()
sem <- struct{}{}
defer func() { <-sem }()
f, err := os.Open(p)
if err != nil {
errChan <- fmt.Errorf("open %s: %w", p, err)
return
}
defer f.Close()
data, err := io.ReadAll(f)
if err != nil {
errChan <- fmt.Errorf("read %s: %w", p, err)
return
}
// 处理 data...
}(path)
}
wg.Wait()
close(errChan)
var errs []error
for e := range errChan {
errs = append(errs, e)
}
return errs}
为什么不能直接并发写入同一个文件
os.OpenFile(path, os.O_WRONLY|os.O_APPEND, 0644) 看似支持多 goroutine 追加，但实际存在严重风险：
立即学习“go语言免费学习笔记（深入）”；
- Linux 下
O_APPEND仅保证每次Write()原子性定位到末尾，但 Go 的bufio.Writer会缓存、合并写入，破坏原子性 - 不同 goroutine 的
Write()调用可能被调度器交错执行，导致内容重叠或截断 - Windows 对同一文件的并发写入默认拒绝，直接返回
Access is denied
正确做法：所有写操作经由单个 goroutine 串行化，其他 goroutine 通过 channel 发送数据。
使用 channel 串行化并发写入
这是最常用且健壮的模式，适用于日志收集、结果归档等场景。写入逻辑与业务逻辑解耦，天然避免竞态。
- 定义结构体封装写入内容和元信息（如目标路径、是否追加）
- 启动一个专用 writer goroutine，
range接收 channel 数据并落地 - 主流程只负责发送，无需关心文件打开/关闭时机
- 务必在程序退出前
close(ch)并等待 writer 结束，否则可能丢数据
type WriteJob struct {
Path string
Data []byte
Append bool
}
func startWriter(writeCh <-chan WriteJob) {
for job := range writeCh {
flag := os.O_CREATE | os.O_WRONLY
if job.Append {
flag |= os.OAPPEND
}
f, err := os.OpenFile(job.Path, flag, 0644)
if err != nil {
log.Printf("failed to open %s: %v", job.Path, err)
continue
}
, _ = f.Write(job.Data)
f.Close()
}
}
// 使用示例：
ch := make(chan WriteJob, 100)
go startWriter(ch)
// 其他 goroutine 可随时发任务：
ch <- WriteJob{Path: "out.log", Data: []byte("hello\n"), Append: true}
临时文件 + 原子重命名是安全写入的关键
即使单 goroutine 写文件，若中途崩溃，可能留下损坏或不完整文件。生产环境应始终采用“写临时文件 → os.Rename()”模式。
-
os.Rename()在同文件系统下是原子操作，不会出现“半更新”状态 - 临时文件名建议用
filepath.Join(os.TempDir(), "prefix-"+uuid.NewString())避免冲突 - 务必检查
os.Rename()返回的 error，失败时需清理临时文件
并发场景下，这个模式和 channel 写入组合，才能真正兼顾性能与可靠性。
