将 Java 生成的日志发送到 ELK 的最佳实践-java教程-PHP中文网

将 Java 生成的日志发送到 ELK 的最佳实践

聖光之護

发布： 2025-10-17 11:40:01

原创

494人浏览过

将 java 生成的日志发送到 elk 的最佳实践

本文旨在指导开发者如何将 Docker 容器中运行的 Java 服务生成的日志高效地发送到 ELK（Elasticsearch、Logstash、Kibana）堆栈。重点介绍使用 Filebeat 收集容器日志，并将其直接传输到 ELK，避免本地文件存储，从而简化日志管理流程。

将 Java 应用程序生成的日志集成到 ELK 堆栈中，可以实现集中的日志管理、分析和可视化。对于基于微服务的项目，尤其是在 Docker 容器化部署的环境下，高效地收集和传输日志至关重要。直接通过 HTTP 发送日志到 ELK 是一种选择，但通常不推荐，因为它会增加应用程序的复杂性，并可能影响性能。更常见和推荐的做法是使用专门的日志收集工具，例如 Filebeat。

使用 Filebeat 收集 Docker 容器日志

Filebeat 是 Elastic 公司开发的轻量级日志收集器，非常适合用于收集 Docker 容器的日志，并将其发送到 Elasticsearch 或 Logstash。它具有资源占用少、配置简单、可靠性高等优点。

1. Filebeat 安装和配置

立即学习“Java免费学习笔记（深入）”；

首先，需要在运行 Docker 容器的主机上安装 Filebeat。你可以从 Elastic 官网下载对应操作系统的 Filebeat 安装包。

安装完成后，需要配置 Filebeat 以监控 Docker 容器的日志。 Filebeat 的配置文件通常位于 /etc/filebeat/filebeat.yml。以下是一个示例配置，用于收集所有 Docker 容器的日志：

filebeat.inputs:
- type: container
  paths:
    - '/var/lib/docker/containers/*/*.log'
  processors:
    - add_docker_metadata: ~

output.elasticsearch:
  hosts: ["elasticsearch:9200"]  # Elasticsearch 的地址和端口
  username: "elastic"           # Elasticsearch 用户名 (如果启用了安全认证)
  password: "your_password"    # Elasticsearch 密码 (如果启用了安全认证)

# 或者使用 Logstash
#output.logstash:
#  hosts: ["logstash:5044"]       # Logstash 的地址和端口

登录后复制

配置说明:

AI卡通生成器

免费在线AI卡通图片生成器 | 一键将图片或文本转换成精美卡通形象

查看详情

filebeat.inputs: 定义 Filebeat 的输入源。 type: container 指定输入类型为 Docker 容器日志。
paths: 指定 Docker 容器日志文件的路径。 /var/lib/docker/containers/*/*.log 是 Docker 默认的日志存储路径。
processors: 用于处理收集到的日志数据。 add_docker_metadata 处理器会自动添加 Docker 容器的元数据，例如容器 ID、镜像名称等，方便后续的日志分析。
output.elasticsearch: 配置 Elasticsearch 作为输出目标。 hosts 指定 Elasticsearch 的地址和端口。 username 和 password 是 Elasticsearch 的用户名和密码，如果 Elasticsearch 启用了安全认证，则需要配置。
output.logstash: (可选) 配置 Logstash 作为输出目标。如果需要对日志进行更复杂的处理，可以使用 Logstash。

2. Docker Compose 配置 (可选)

如果使用 Docker Compose 管理 ELK 堆栈，可以将 Filebeat 添加到 Docker Compose 文件中。以下是一个示例 Docker Compose 文件：

version: "3.7"
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.17.0
    # ... Elasticsearch 配置

  logstash:
    image: docker.elastic.co/logstash/logstash:7.17.0
    # ... Logstash 配置

  kibana:
    image: docker.elastic.co/kibana/kibana:7.17.0
    # ... Kibana 配置

  filebeat:
    image: docker.elastic.co/beats/filebeat:7.17.0
    volumes:
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /path/to/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
    depends_on:
      - elasticsearch
    user: root

登录后复制

配置说明:

volumes: 将 Docker 容器的日志目录和 Filebeat 的配置文件挂载到 Filebeat 容器中。
depends_on: 指定 Filebeat 容器依赖于 Elasticsearch 容器，确保 Elasticsearch 容器先启动。
user: root: Filebeat 需要 root 权限才能访问 Docker 容器的日志文件。

3. Java 应用程序配置

确保 Java 应用程序使用 SLF4j 作为日志门面，并配置合适的日志实现 (例如 Logback 或 Log4j2)。日志实现需要配置为将日志输出到控制台或文件，Filebeat 才能收集到日志。如果输出到文件，确保文件路径与 Filebeat 配置中的 paths 匹配。

示例 Logback 配置 (logback.xml):

<configuration>
  <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
    <encoder>
      <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
    </encoder>
  </appender>

  <root level="info">
    <appender-ref ref="STDOUT" />
  </root>
</configuration>

登录后复制

4. 启动 ELK 堆栈和 Filebeat

使用 Docker Compose 启动 ELK 堆栈和 Filebeat 容器：

docker-compose up -d

登录后复制

5. 验证日志收集

启动 Java 应用程序，并生成一些日志。在 Kibana 中，创建一个索引模式，并选择 Filebeat 收集的日志索引 (通常是 filebeat-*)。然后，可以在 Kibana 的 Discover 页面中查看 Java 应用程序的日志。

注意事项

权限问题: Filebeat 需要读取 Docker 容器日志文件的权限。确保 Filebeat 容器以 root 用户身份运行，或者为 Filebeat 用户授予读取日志文件的权限。
日志格式: Filebeat 默认可以解析 JSON 和 plain text 格式的日志。如果 Java 应用程序使用其他日志格式，需要配置 Filebeat 的 processors 来解析日志。
性能优化: 在高负载环境下，可以调整 Filebeat 的配置，例如 queue.mem.events 和 bulk_max_size，以优化性能。
安全性: 如果 Elasticsearch 启用了安全认证，需要配置 Filebeat 的 username 和 password。建议使用 TLS 加密 Filebeat 和 Elasticsearch 之间的通信。