首先输出结构化日志，Golang使用logrus等库生成JSON格式日志，便于ELK处理；其次Filebeat采集日志文件并发送至Logstash；接着Logstash解析JSON、过滤字段并写入Elasticsearch；最后Kibana创建索引模式实现日志查询、可视化与告警。
在Golang微服务或高并发系统中，日志是排查问题、监控系统状态的重要依据。随着服务数量增多，分散在各节点的日志难以统一管理。为此，将Golang应用日志接入ELK（Elasticsearch、Logstash、Kibana）系统，实现集中化收集、分析与可视化，成为一种高效解决方案。本文介绍如何在Golang项目中集成ELK，完成日志聚合的完整实践。
日志格式标准化：输出结构化日志
ELK擅长处理结构化数据，原始文本日志不利于分析。Golang中推荐使用logrus或zap等支持JSON格式输出的日志库。
以logrus为例，设置JSON格式输出：
package mainimport ( "github.com/sirupsen/logrus" )
func main() { log := logrus.New() log.SetFormatter(&logrus.JSONFormatter{}) log.SetLevel(logrus.InfoLevel)
log.WithFields(logrus.Fields{ "user_id": 1001, "action": "login", "status": "success", }).Info("用户登录")}
输出示例：
立即学习“go语言免费学习笔记（深入）”；
{ "level": "info", "msg": "用户登录", "time": "2024-04-05T10:00:00Z", "user_id": 1001, "action": "login", "status": "success" }结构化日志便于Logstash解析字段，也利于Kibana做聚合分析。
日志采集：Filebeat监听日志文件
推荐使用Filebeat作为轻量级日志采集器，替代Logstash直接读取文件，降低资源消耗。
步骤如下：
- 将Golang程序日志写入本地文件（如/var/log/myapp/app.log）
- 配置Filebeat监控该路径
Filebeat配置示例（filebeat.yml）：
filebeat.inputs:
- type: filestream
paths:
- /var/log/myapp/*.log
fields:
app: mygolangapp
env: production
output.logstash:
hosts: ["logstash-server:5044"]
启动Filebeat后，它会实时读取新日志并发送给Logstash。
日志处理：Logstash解析与增强
Logstash负责接收Filebeat数据，解析JSON日志，必要时添加字段或过滤。
Logstash配置（myapp.conf）：
input {
beats {
port => 5044
}
}
filter {
json {
source => "message"
}
mutate {
remove_field => ["message"]
}
}
output {
elasticsearch {
hosts => ["https://www.php.cn/link/df1587ed91223bcb29b80f5bdcb9f3fa"]
index => "golang-logs-%{+yyyy.MM.dd}"
}
}
说明：
- 使用beats输入插件接收Filebeat
- json过滤器解析原始message为字段
- 输出到Elasticsearch，按天创建索引
Kibana可视化：查询与监控
数据进入Elasticsearch后，通过Kibana创建索引模式（如golang-logs-*），即可进行搜索和仪表盘构建。
常用操作：
- 按user_id或action筛选日志
- 统计每日登录成功/失败次数
- 设置告警规则（如错误日志突增）
Kibana的Discover、Visualize、Dashboard功能可快速构建运维视图。
基本上就这些。通过Golang输出JSON日志，Filebeat采集，Logstash处理，最终存入Elasticsearch并由Kibana展示，形成完整的日志聚合链路。这套方案稳定、可扩展，适合大多数Golang生产环境。关键点在于日志结构化和各组件配置的准确性，部署后建议做一次全链路压测验证吞吐能力。
