Golang应用应使用logrus或zap输出JSON格式结构化日志;2. 日志需写入stdout/stderr而非本地文件;3. 在K8s节点部署Fluent Bit等Agent采集日志;4. 集中存储至Elasticsearch或Loki,结合Kibana或Grafana实现查询分析,形成日志闭环。

在Golang开发的微服务或容器化应用中,日志是排查问题、监控系统状态的重要依据。由于容器具有短暂性、动态调度等特点,传统的日志查看方式不再适用,必须依赖统一的日志收集与分析方案。以下是常见的Golang容器日志收集与分析方法。
1. 使用结构化日志输出(JSON格式)
Go应用默认使用fmt.Println或log包输出文本日志,不利于机器解析。推荐使用结构化日志库,如logrus或zap,将日志以JSON格式输出。
示例(使用logrus):
package mainimport ( "github.com/sirupsen/logrus" )
func main() { logrus.SetFormatter(&logrus.JSONFormatter{}) logrus.WithFields(logrus.Fields{ "event": "user_login", "uid": 12345, "ip": "192.168.1.1", }).Info("User logged in") }
输出:
立即学习“go语言免费学习笔记(深入)”;
{"level":"info","msg":"User logged in","time":"2024-04-05T10:00:00Z","event":"user_login","uid":12345,"ip":"192.168.1.1"}
结构化日志便于后续被收集系统解析字段,支持过滤、聚合和告警。
2. 日志写入标准输出(stdout/stderr)
在容器环境中,应避免将日志写入本地文件。Kubernetes等编排系统通过kubectl logs命令读取容器的标准输出。Golang应用应将所有日志打印到os.Stdout或os.Stderr。
做法:
- 使用logrus或zap默认输出到stdout
- 禁用本地文件写入,交由容器平台统一处理
- 在Dockerfile中确保ENTRYPOINT或CMD不重定向日志
3. 部署日志收集代理(如Fluent Bit、Filebeat)
在Kubernetes集群中,通常在每个节点部署日志收集Agent,采集所有容器的标准输出日志。
常见方案:
- Fluent Bit:轻量级,资源占用少,适合K8s环境,可将日志发送到Elasticsearch、Kafka、Loki等
- Filebeat:功能丰富,支持多种输入输出,适合复杂场景
配置Fluent Bit示例(收集容器日志并发送到ES):
[INPUT]
Name tail
Path /var/log/containers/*.log
Parser docker
Tag kube.*
Mem_Buf_Limit 5MB
[OUTPUT]
Name es
Match *
Host elasticsearch
Port 9200
Index golang-logs
4. 日志存储与分析平台
收集后的日志需要集中存储并提供查询分析能力。
常用组合:
- ELK Stack:Elasticsearch + Logstash + Kibana。Logstash可做进一步处理,Kibana提供可视化
- EFK Stack:Elasticsearch + Fluent Bit + Kibana。更轻量,适合容器环境
- Prometheus + Loki + Grafana:Loki由Grafana推出,专为日志设计,与Prometheus指标系统无缝集成,适合云原生场景
使用Grafana查询Loki中的Golang日志示例:
{job="golang-service"} |= "error" | json | uid>1000
可过滤错误日志并提取JSON字段进行分析。
基本上就这些。关键是Go应用输出结构化日志到stdout,配合容器平台的日志采集机制,再通过统一平台实现查询与告警,形成闭环。不复杂但容易忽略细节。










