0

0

如何使用Docker进行应用的监控和日志管理

WBOY

WBOY

发布时间:2023-11-07 16:58:54

|

1387人浏览过

|

来源于php中文网

原创

如何使用docker进行应用的监控和日志管理

Docker已经成为了现代化应用中的一项必备技术,但是使用Docker进行应用监控和日志管理却是一项挑战。随着Docker网络功能,如Service Discovery和Load Balancing的不断增强,我们越来越需要一个完整、稳定,以及高效的应用监控系统。

在本文中,我们将简单地介绍使用Docker进行应用监控和日志管理的同时给出具体的代码示例。

利用Prometheus进行应用监控

Prometheus是一款开源,基于Pull模型的服务监测和警告工具,由SoundCloud开发。它使用Go语言编写,被广泛应用于微服务方案和云环境中。作为一款监控工具,它可以对Docker的CPU、内存、网络和磁盘等进行监控,并且还支持多维数据切换、灵活的查询、报警以及可视化等功能,让你可以快速做出反应,并快速做出决策。

还有一点需要注意的是,Prometheus需要通过Pull方式的采样,也就是访问被监控应用中的/metrics接口获取监控数据。所以,在启动被监控应用镜像时,需要先将可以访问到Prometheus的IP和端口配置到/metrics接口中。下面是一个简单的Node.js应用。

const express = require('express')
const app = express()

app.get('/', (req, res) => {
  res.send('Hello World!')
})

app.get('/metrics', (req, res) => {
  res.send(`
    # HELP api_calls_total Total API calls
    # TYPE api_calls_total counter
    api_calls_total 100
  `)
})

app.listen(3000, () => {
  console.log('Example app listening on port 3000!')
})

在该代码中,我们通过/metrics接口,返回了一个api_calls_total的监控指标。

接着,在官网上下载Prometheus的Docker镜像,并创建一个docker-compose.yml文件,并且在该文件中,我们获取该Node.js应用的数据。

version: '3'
services:
  node:
    image: node:lts
    command: node index.js
    ports:
      - 3000:3000

  prometheus:
    image: prom/prometheus:v2.25.2
    volumes:
      - ./prometheus:/etc/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.retention.time=15d'
    ports:
      - 9090:9090

该docker-compose.yml文件中,我们定义了两个服务,一个是运行Node.js应用的Node服务,另一个是用于监控的Prometheus服务。其中,Node服务发布的端口为3000端口,通过端口映射,可以通过docker-compose.yml中的IP和3000端口访问到该Node应用的/metrics接口。而Prometheus则可以通过9090端口访问对应的监控指标数据。

最后,在prometheus.yml文件中,我们需要定义要获取的数据来源。

global:
  scrape_interval:     15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'node-exporter'
    static_configs:
    - targets: ['node:9100']

  - job_name: 'node-js-app'
    static_configs:
    - targets: ['node:3000']

在该文件中,我们定义了要采集的所有的Node.js应用的指标,其中targets参数是Node.js应用的IP地址及其对应端口号。在这里,我们使用的是node和3000端口。

JTBC网站内容管理系统5.0.3.1
JTBC网站内容管理系统5.0.3.1

JTBC CMS(5.0) 是一款基于PHP和MySQL的内容管理系统原生全栈开发框架,开源协议为AGPLv3,没有任何附加条款。系统可以通过命令行一键安装,源码方面不基于任何第三方框架,不使用任何脚手架,仅依赖一些常见的第三方类库如图表组件等,您只需要了解最基本的前端知识就能很敏捷的进行二次开发,同时我们对于常见的前端功能做了Web Component方式的封装,即便是您仅了解HTML/CSS也

下载

最后,运行docker-compose up命令,即可启动整个应用及其监控服务,并在Prometheus中查看该会员指标。

利用ElasticSearch和Logstash进行日志管理

在Docker中,应用的日志数据分布在不同的Docker容器中。如果你要在集中的地方对这些日志进行管理,那么可以通过使用ELK中的ElasticSearch和Logstash,将日志中心化管理,以便更轻松地实现计算机资源的监控和分析。

在开始之前,需要先下载Logstash和ElasticSearch的Docker镜像,并创建一个docker-compose.yml文件。

在该文件中,我们定义了三个服务,其中bls是用来模拟业务日志的API服务,其每次响应后,将记录一条日志到stdout和日志文件中。logstash服务是由Logstash官方提供的Docker镜像构建,用于收集、过滤和传输日志。ElasticSearch服务用于存储和检索日志。

version: '3'
services:
  bls:
    image: nginx:alpine
    volumes:
      - ./log:/var/log/nginx
      - ./public:/usr/share/nginx/html:ro
    ports:
      - "8000:80"
    logging:
      driver: "json-file"
      options:
        max-size: "10m"
        max-file: "10"

  logstash:
    image: logstash:7.10.1
    volumes:
      - ./logstash/pipeline:/usr/share/logstash/pipeline
    environment:
      - "ES_HOST=elasticsearch"
    depends_on:
      - elasticsearch

  elasticsearch:
    image: elasticsearch:7.10.1
    environment:
      - "http.host=0.0.0.0"
      - "discovery.type=single-node"
    volumes:
      - ./elasticsearch:/usr/share/elasticsearch/data

在配置文件中,我们映射了容器内的路径到宿主机的日志文件系统中。同时通过logging的option,则定义了日志的卷大小和数量,以限制日志的占用存储。

在配置文件的logstash中,我们定义了一个新的pipeline,其名为nginx_pipeline.conf,该文件用于处理nginx日志的收集、过滤和传输。与ELK的工作原理相同,logstash将根据不同的条件,对接收到的日志进行处理,并将其发送到已经创建的 Elasticsearch 集群中。在该配置文件中,我们定义了如下处理逻辑:

input {
  file {
    path => "/var/log/nginx/access.log"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  elasticsearch {
    hosts => [ "${ES_HOST}:9200" ]
    index => "nginx_log_index"
  }
}

在该配置文件中,我们定义了一个name为file的输入,表示要从本地Log文件中读取数据。接着,我们引入了使用grok库来解析符合特定模板的日志的filter。最后,我们定义了输出,其将数据传输到 Elasticsearch 集群的地址,同时将检索和报告通过环境变量ES_HOST传递到容器中。

在最后,如上完成整个ELK的配置后,我们会得到一个高效的日志管理系统,每条日志都将发送到集中的地方,并被整合在一起,可以实现简便的搜索,过滤和可视化操作。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

230

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

499

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

498

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

227

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

334

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3510

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

18

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

23

2026.01.13

excel表格操作技巧大全 表格制作excel教程
excel表格操作技巧大全 表格制作excel教程

Excel表格操作的核心技巧在于 熟练使用快捷键、数据处理函数及视图工具,如Ctrl+C/V(复制粘贴)、Alt+=(自动求和)、条件格式、数据验证及数据透视表。掌握这些可大幅提升数据分析与办公效率,实现快速录入、查找、筛选和汇总。

0

2026.01.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Git 教程
Git 教程

共21课时 | 2.8万人学习

PHP自制框架
PHP自制框架

共8课时 | 0.6万人学习

ThinkPHP6.x 微实战--十天技能课堂
ThinkPHP6.x 微实战--十天技能课堂

共26课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号