0

0

Linux系统稳定性保障措施_长期运行经验总结【指导】

舞夢輝影

舞夢輝影

发布时间:2025-12-31 20:04:02

|

708人浏览过

|

来源于php中文网

原创

日志轮转配置不当、systemd重启策略缺失、slab内存泄漏、时间同步失效是Linux服务器长期运行后崩溃的四大隐形杀手,需分别通过logrotate定制、RestartSec/StartLimitInterval设置、slab监控和timedatectl校准来根治。

linux系统稳定性保障措施_长期运行经验总结【指导】

系统日志轮转配置不当会导致磁盘爆满

长期运行的 Linux 服务器最常见崩溃原因之一是 /var/log 目录被撑爆,尤其当应用未做日志切割、rsysloglogrotate 配置缺失时。默认的 logrotate 策略往往只覆盖 /var/log/messages 等系统日志,而忽略服务自建日志(如 /opt/myapp/logs/app.log)。

  • 检查当前轮转状态:logrotate -d /etc/logrotate.conf(-d 表示 debug 模式,不实际执行)
  • 为第三方服务添加独立配置:在 /etc/logrotate.d/myapp 中写入
    /opt/myapp/logs/*.log {
        daily
        missingok
        rotate 30
        compress
        delaycompress
        notifempty
        create 0644 myapp myapp
        sharedscripts
        postrotate
            systemctl kill --signal=SIGHUP myapp.service > /dev/null 2>&1 || true
        endscript
    }
  • 务必测试:用 logrotate -f /etc/logrotate.d/myapp 强制触发一次,确认日志重命名、压缩、服务重载均无报错
  • 避免陷阱:不要依赖 copytruncate 替代服务重启——某些程序(如 Java 进程用 logback)在文件被 truncate 后可能继续写入旧 inode,导致日志丢失

systemd 服务未设置 RestartSec 和 StartLimitInterval 导致进程反复崩溃失管

很多运维人员只加了 Restart=always,却没配 RestartSecStartLimitInterval,结果服务秒级反复崩溃时,systemd 会直接放弃拉起,并标记为 failed,且不再尝试——这在无人值守的边缘设备上尤为致命。

  • 正确模板应包含
    [Service]
    Restart=on-failure
    RestartSec=10
    StartLimitInterval=60
    StartLimitBurst=3
  • StartLimitInterval=60 + StartLimitBurst=3 表示:60 秒内最多允许失败 3 次,超限后 systemd 将拒绝后续启动请求,直到间隔过去
  • RestartSec=10 强制退避,避免 CPU 打满或下游雪崩;对数据库连接失败类问题,还应配合 ExecStartPre=/bin/sleep 5 做前置缓冲
  • 验证方式:systemctl show myapp.service | grep -E "(Restart|StartLimit)",确保值已生效

内存泄漏未暴露在 top 中,但由 slab 内存持续增长引发 OOM

长期运行中,有些泄漏不体现在 top%MEMRES 列,而是藏在内核 slab 分配器里(如 dentryinode_cacheext4_inode_cache)。这类泄漏不会被 pshtop 显示,但最终触发 Out of memory: Kill process,且 oom_killer 往往误杀无辜进程。

Musico
Musico

Musico 是一个AI驱动的软件引擎,可以生成音乐。 它可以对手势、动作、代码或其他声音做出反应。

下载
  • 实时观察 slab:cat /proc/meminfo | grep -i slab,重点关注 SReclaimableSUnreclaim
  • 定位热点缓存:sudo cat /proc/slabinfo | awk '$3 > 100000 {print $1, $3}' | sort -k2 -n(筛选活跃对象数超 10 万的 slab 缓存)
  • 常见诱因:NFS 客户端长时间挂载后未清理 dentry;大量小文件频繁创建/删除但未 sync;ext4 日志模式为 journal 且未调优 commit=60
  • 缓解手段:定期执行 echo 2 > /proc/sys/vm/drop_caches(仅释放 pagecache + dentries + inodes),但不能替代根因修复

时间同步失效后 NTP drift 累积导致 cron 错乱与 TLS 证书校验失败

看似无关的时间问题,实则是长期稳定性隐形杀手。当 ntpdsystemd-timesyncd 失效超过数小时,系统时钟漂移(drift)可能达分钟级,直接导致:cron 任务跳过或重复执行、systemd timer 触发异常、HTTPS 请求因证书 NotBefore/NotAfter 时间校验失败而中断。

  • 必须启用硬件时钟同步:timedatectl set-ntp true,并确认 systemd-timesyncd 处于 active 状态
  • 禁用 ntpdsystemd-timesyncd 共存——二者冲突会导致时钟跳跃(jump)而非平滑调整(slew)
  • 关键检查项:timedatectl statusSystem clock synchronized: yesNTP service: active 必须同时为 true
  • 对高精度要求场景(如金融交易日志),建议改用 chrony 并配置 makestep 1.0 -1,允许首次启动时快速校正大偏差
真正难防的不是单点故障,而是多个“看起来无害”的配置偏差在数月运行中缓慢叠加——比如 logrotate 少删一个归档、slab 缓存多留 0.5%、时钟漂移每天慢 0.3 秒。这些偏差本身不报错,但会在某个凌晨三点共同触发连锁反应。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

805

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

724

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

727

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

395

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

398

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

445

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

428

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

16861

2023.08.03

php源码安装教程大全
php源码安装教程大全

本专题整合了php源码安装教程,阅读专题下面的文章了解更多详细内容。

7

2025.12.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 6.3万人学习

Git 教程
Git 教程

共21课时 | 2.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号