直接用 log.Printf 在多 goroutine 中写文件会出问题,因为 log.Logger 默认不并发安全,格式化与写入非原子操作,易致日志错乱、截断或 panic。

为什么直接用 log.Printf 在多 goroutine 中写文件会出问题
因为标准库的 log.Logger 默认不保证并发安全——多个 goroutine 同时调用 logger.Print() 可能导致日志行错乱、截断,甚至 panic(比如底层 os.File.Write 被并发调用时触发内部锁竞争或缓冲区越界)。这不是“偶尔出错”,而是在高并发写入场景下几乎必然发生。
- 典型现象:
2024-05-12T10:23:41Z INFO user login和2024-05-12T10:23:41Z ERROR db timeout混合成一行,如2024-05-12T10:23:41Z INFO user login2024-05-12T10:23:41Z ERROR db timeout - 根本原因:日志格式化 + 写入不是原子操作;
log.Logger的Output方法内部未对写入目标加锁 - 误区:以为给
log.New传一个带互斥锁的io.Writer就够了——其实还不够,因为格式化字符串(含时间、调用栈)本身也需同步,否则不同 goroutine 的runtime.Caller信息可能交叉
用 sync.Mutex 包裹 log.Logger 是最简方案但有性能瓶颈
适用于 QPS
var (
mu sync.Mutex
logger = log.New(os.Stdout, "", log.LstdFlags)
)
func SafeLog(msg string) {
mu.Lock()
defer mu.Unlock()
logger.Println(msg)
}
- 不要在
log.New里直接传&muWriter{mu: &mu, w: file}这类包装 writer——log.Logger会在每次调用时重置缓冲区并多次调用Write,仅锁Write无法防止格式化内容被其他 goroutine 插入 - 如果必须用标准库,务必把整个
logger.Println或logger.Printf调用包在Lock/Unlock内 - 注意:
log.SetOutput不是并发安全的,不能在运行时动态切换输出目标
推荐用 zap.Logger 配合 zapcore.Lock 实现无锁高性能写入
zap 是 Uber 开源的结构化日志库,其 zapcore.Core 层原生支持并发写入。关键不是“加锁”,而是使用 zapcore.Lock 对底层 io.Writer 做最小粒度保护,同时保持格式化与写入分离的高效路径。
file, _ := os.OpenFile("app.log", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0666)
lockedWriter := zapcore.Lock(file)
core := zapcore.NewCore(
zapcore.JSONEncoder{TimeKey: "ts", EncodeTime: zapcore.ISO8601TimeEncoder},
lockedWriter,
zapcore.InfoLevel,
)
logger := zap.New(core)
// 多个 goroutine 可安全调用
go func() { logger.Info("request started", zap.String("path", "/api/v1")) }()
go func() { logger.Error("db failed", zap.Error(err)) }()
-
zapcore.Lock只锁Write系统调用,不锁格式化过程,因此比全函数加锁快 3–5 倍(实测 10k 日志/秒场景) - 避免用
zap.NewDevelopment或zap.NewProduction直接初始化——它们内部已封装了锁,但你无法控制 writer 生命周期;建议手动构造Core以明确管理文件句柄 - 注意关闭:程序退出前需调用
logger.Sync(),否则最后几条日志可能滞留在缓冲区未刷盘
自研环形缓冲 + 单独写入 goroutine 更适合极端吞吐场景
当单机日志量 > 50MB/s 或要求毫秒级延迟可控时,zap 的锁仍可能成为瓶颈。此时应将日志事件投递到 channel,由专用 goroutine 顺序写入,并配合内存缓冲和批量刷盘。
立即学习“go语言免费学习笔记(深入)”;
- 核心结构:
chan *LogEntry(固定长度,如 1024),LogEntry包含预格式化字符串、时间戳、level 字段 - 投递端不阻塞:用
select { case ch 防止日志堆积拖慢主逻辑 - 写入端做合并:每 10ms 或积满 64 条后统一
Write,减少系统调用次数 - 别忘了信号处理:收到
SIGTERM时先 close channel,再等待写入 goroutine 完成剩余日志,最后file.Close()
真正难的不是“怎么让多 goroutine 不写乱”,而是“怎么在不拖慢业务的前提下,把日志可靠落盘”。锁只是起点,缓冲策略、刷盘时机、错误降级(比如磁盘满时切到 syslog)、以及是否接受少量丢失——这些权衡点,往往比选哪个库更影响线上稳定性。









