Docker容器日志可通过直接读取/var/lib/docker/containers//-json.log文件或调用/containers/{id}/logs API两种方式获取;前者需处理日志轮转与文件截断,后者需管理HTTP连接、超时与重试,并推荐使用docker-go SDK封装;日志结构化需应用统一输出JSON格式并妥善处理多行、时区等问题。

直接读取容器日志文件(Docker 默认路径)
Docker 容器日志默认以 JSON 格式写入宿主机文件系统,路径为 /var/lib/docker/containers/。Golang 程序可直接监控该文件变化,但要注意:日志轮转(log rotation)会重命名或截断文件,os.OpenFile 持有句柄可能失效。
- 用
fsnotify监听目录变更,而非仅监听单个文件名 —— 因为-json.log.1、-json.log.2.gz等轮转文件也会出现 - 每次读取前检查文件是否被截断(对比
os.Stat().Size与上次读取位置),若变小则重置偏移量 - 避免用
bufio.Scanner逐行读取大日志(易卡住或丢数据),改用bufio.NewReader+ 手动解析 JSON 行
package main
import (
"encoding/json"
"log"
"os"
"path/filepath"
)
type LogEntry struct {
Log string `json:"log"`
Stream string `json:"stream"`
Time string `json:"time"`
}
func parseJSONLine(data []byte) (*LogEntry, error) {
var entry LogEntry
err := json.Unmarshal(data, &entry)
return &entry, err
}
func tailLogFile(filePath string, offset int64) (int64, error) {
f, err := os.Open(filePath)
if err != nil {
return offset, err
}
defer f.Close()
if _, err := f.Seek(offset, 0); err != nil {
return offset, err
}
reader := bufio.NewReader(f)
for {
line, isPrefix, err := reader.ReadLine()
if err != nil {
return offset, err
}
if isPrefix {
continue // 忽略超长行(实际中应缓冲处理)
}
if len(line) == 0 {
continue
}
if entry, err := parseJSONLine(line); err == nil {
log.Printf("[%s] %s", entry.Stream, entry.Log)
}
offset += int64(len(line)) + 1 // +1 for \n
}
}
通过 Docker Engine API 流式获取日志
调用 /containers/{id}/logs API 并设置 follow=1&stdout=1&stderr=1×tamps=1,能实时获取结构化日志流,规避文件路径依赖和轮转问题。但需注意:连接生命周期管理、HTTP Keep-Alive、错误重连策略。
- 必须显式设置
http.Transport.MaxIdleConnsPerHost = 100,否则高并发容器下连接耗尽 - 响应体是纯文本流(非 JSON),每行含时间戳+流标识+日志内容,格式如:
2024-05-20T08:30:45.123Z stdout F hello world - 不可用
io.ReadAll一次性读取 —— 这会导致阻塞直至连接关闭;必须边读边解析 - 遇到
http.StatusNotFound(容器已删)或net.ErrClosed需主动退出并清理 goroutine
使用 docker-go SDK 封装日志流更安全
直接拼接 HTTP 请求易遗漏边界条件(如鉴权头、超时、gzip 解压)。推荐用官方维护的 github.com/docker/docker/api/types + github.com/docker/docker/client,它自动处理 TLS、Unix socket、API 版本协商。
-
cli.ContainerLogs返回io.ReadCloser,内部已按需解压(若服务端返回 gzip) - 务必传入带超时的
context.Context,例如ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second) - 不要忽略
err返回值 —— 即使流已开始,后续仍可能因网络抖动或 daemon 重启中断 - 若需同时监控多个容器,每个流应在独立 goroutine 中处理,并用 channel 汇总日志事件,避免阻塞
日志字段提取与结构化难点
容器日志本质是应用输出的原始字节流,Docker 不解析内容。Golang 程序若想提取 trace_id、level、error_code 等字段,必须自行解析。常见陷阱:
立即学习“go语言免费学习笔记(深入)”;
- 应用日志格式不统一(有的用 JSON,有的用 logfmt,有的纯文本)—— 建议在采集层强制要求 JSON 输出,或部署 sidecar 如
fluent-bit预处理 - 多行日志(如 stack trace)会被拆成多条
-json.log记录,需按时间戳和容器 ID 聚合,再用正则识别异常起始行(如^java\.lang\.) - 时区混乱:Docker 日志时间戳默认是 UTC,而应用内打印可能是本地时区,聚合分析时需统一转换
真正难的不是“怎么拿到日志”,而是“怎么让日志可查、可关联、不丢失”。文件监控适合调试和轻量场景;API 流式适合生产集成;但一旦容器规模上几百,就必须引入专用日志系统(Loki / ELK)做索引与保留,Golang 这里只该做可靠搬运工。










