Golang日志聚合系统 ELK集成实践

首先输出结构化日志，Golang使用logrus等库生成JSON格式日志，便于ELK处理；其次Filebeat采集日志文件并发送至Logstash；接着Logstash解析JSON、过滤字段并写入Elasticsearch；最后Kibana创建索引模式实现日志查询、可视化与告警。

在Golang微服务或高并发系统中，日志是排查问题、监控系统状态的重要依据。随着服务数量增多，分散在各节点的日志难以统一管理。为此，将Golang应用日志接入ELK（Elasticsearch、Logstash、Kibana）系统，实现集中化收集、分析与可视化，成为一种高效解决方案。本文介绍如何在Golang项目中集成ELK，完成日志聚合的完整实践。

日志格式标准化：输出结构化日志

ELK擅长处理结构化数据，原始文本日志不利于分析。Golang中推荐使用logrus或zap等支持JSON格式输出的日志库。

以logrus为例，设置JSON格式输出：

package main
<p>import (
"github.com/sirupsen/logrus"
)</p><p>func main() {
log := logrus.New()
log.SetFormatter(&logrus.JSONFormatter{})
log.SetLevel(logrus.InfoLevel)</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">log.WithFields(logrus.Fields{
    "user_id": 1001,
    "action":  "login",
    "status":  "success",
}).Info("用户登录")

}

输出示例：

立即学习“go语言免费学习笔记（深入）”；

{
  "level": "info",
  "msg": "用户登录",
  "time": "2024-04-05T10:00:00Z",
  "user_id": 1001,
  "action": "login",
  "status": "success"
}

结构化日志便于Logstash解析字段，也利于Kibana做聚合分析。

日志采集：Filebeat监听日志文件

推荐使用Filebeat作为轻量级日志采集器，替代Logstash直接读取文件，降低资源消耗。

步骤如下：

• 将Golang程序日志写入本地文件（如/var/log/myapp/app.log）
• 配置Filebeat监控该路径

Filebeat配置示例（filebeat.yml）：

filebeat.inputs:
- type: filestream
  paths:
    - /var/log/myapp/*.log
  fields:
    app: mygolangapp
    env: production
<p>output.logstash:
hosts: ["logstash-server:5044"]

启动Filebeat后，它会实时读取新日志并发送给Logstash。

聚好用AI

可免费AI绘图、AI音乐、AI视频创作，聚集全球顶级AI，一站式创意平台

115

查看详情

日志处理：Logstash解析与增强

Logstash负责接收Filebeat数据，解析JSON日志，必要时添加字段或过滤。

Logstash配置（myapp.conf）：

input {
  beats {
    port => 5044
  }
}
<p>filter {
json {
source => "message"
}
mutate {
remove_field => ["message"]
}
}</p><p>output {
elasticsearch {
hosts => ["<a href="https://www.php.cn/link/df1587ed91223bcb29b80f5bdcb9f3fa">https://www.php.cn/link/df1587ed91223bcb29b80f5bdcb9f3fa</a>"]
index => "golang-logs-%{+yyyy.MM.dd}"
}
}

说明：

• 使用beats输入插件接收Filebeat
• json过滤器解析原始message为字段
• 输出到Elasticsearch，按天创建索引

Kibana可视化：查询与监控

数据进入Elasticsearch后，通过Kibana创建索引模式（如golang-logs-*），即可进行搜索和仪表盘构建。

常用操作：

• 按user_id或action筛选日志
• 统计每日登录成功/失败次数
• 设置告警规则（如错误日志突增）

Kibana的Discover、Visualize、Dashboard功能可快速构建运维视图。

基本上就这些。通过Golang输出JSON日志，Filebeat采集，Logstash处理，最终存入Elasticsearch并由Kibana展示，形成完整的日志聚合链路。这套方案稳定、可扩展，适合大多数Golang生产环境。关键点在于日志结构化和各组件配置的准确性，部署后建议做一次全链路压测验证吞吐能力。

以上就是Golang日志聚合系统 ELK集成实践的详细内容，更多请关注php中文网其它相关文章！