0

0

K3s 节点内存压力大导致 eviction 但 free -h 看到大量 available

冷炫風刃

冷炫風刃

发布时间:2026-01-17 22:42:57

|

511人浏览过

|

来源于php中文网

原创

K3s中Pod被OOMKilled或驱逐的主因是kubelet依据cgroup内存统计和node allocatable判断压力,而非free -h显示的系统available内存;需通过cgroup指标、/proc/meminfo及kubectl describe nodes定位真实内存瓶颈。

k3s 节点内存压力大导致 eviction 但 free -h 看到大量 available

这是 K3s 环境中非常典型的“内存看似充足,但 Pod 却被 OOMKilled 或触发 kubelet eviction”的现象。根本原因不是 free -h 显示的 available 值高就代表内核能随时分配内存——Kubernetes(包括 K3s)的驱逐逻辑依赖的是 cgroup 内存统计 + kubelet 的 node allocatable 计算,而非用户态看到的 free 内存。

为什么 free -h 的 available 很高,但 kubelet 还是触发 eviction?

K3s 默认使用 cgroup v2 + systemd 驱动,而 free -h 统计的是整个系统的 page cache、slab、buffers 等可回收内存总量,它不反映:

  • cgroup 内存限制已逼近上限:Pod 所在的 cgroup(如 /kubepods.slice)可能已用尽其配额(即使系统整体还有空闲页),kubelet 通过 cgroup.memory.stat 中的 working_setmemory.usage_in_bytes 判断压力;
  • kubelet 的 memory.available 阈值基于 node allocatable:它从 /proc/meminfo 中读取 MemAvailable,再减去 system-reserved + kube-reserved,这个值往往远小于 free -h 显示的 available;
  • page cache 滞后回收:Linux 不会立刻释放大量 page cache,而 kubelet 的 eviction manager 每 10s 检查一次,若此时 cgroup usage 已超限或 memory.available 低于阈值(默认 100Mi),就会触发 soft/hard eviction。

快速定位真实内存压力来源

别只看 free -h,执行以下命令:

  • kubectl describe nodes → 查看 Conditions 是否有 MemoryPressure,以及 AllocatableCapacity 的差异;
  • cat /var/lib/rancher/k3s/agent/etc/containerd/config.toml | grep -A5 "systemd_cgroup" → 确认是否启用 cgroup v2;
  • cat /sys/fs/cgroup/memory.max(cgroup v2)或 cat /sys/fs/cgroup/memory/kubepods/memory.limit_in_bytes(v1)→ 查看 kubepods cgroup 实际内存上限;
  • cat /sys/fs/cgroup/memory/kubepods/memory.current → 当前已用内存(单位 bytes),对比上面的 max;
  • grep -i "memavailable\|memfree" /proc/meminfo → 获取 kubelet 实际参考的 MemAvailable 值。

关键配置与调优建议

K3s 默认未显式设置资源预留,容易导致 kubelet 误判。需手动干预:

京点点
京点点

京东AIGC内容生成平台

下载
  • 为 kubelet 设置合理的 memory-reserved:启动 K3s 时加参数 --kubelet-arg="system-reserved=memory=512Mi" --kubelet-arg="kube-reserved=memory=512Mi",避免 kubelet 把系统进程和自身内存算进可分配池;
  • 降低 eviction-hard 阈值(谨慎):例如 --kubelet-arg="eviction-hard=memory.available,让驱逐更早发生,避免突发 OOM;
  • 检查容器是否未设 memory limits:无 limit 的 Pod 可无限增长,抢占所有 cgroup 配额。用 kubectl get pods --all-namespaces -o wide --sort-by=.status.phase | grep -v Running 找出异常终止的 Pod,并检查其 spec.resources.limits;
  • 禁用 swap(K3s 要求):确保 swapoff -a/etc/fstab 中注释 swap 行,否则 kubelet 无法准确评估内存压力。

验证与监控建议

重启 K3s 后,持续观察:

  • kubectl top nodeskubectl top pods -A → 看实际 RSS 使用趋势;
  • sudo crictl stats --no-trunc → 查看每个容器的实时 cgroup memory usage;
  • 部署 metrics-server(K3s 默认不带,需手动安装)以支持 HPA 和更准的资源视图;
  • node_exporter + Prometheus 监控 node_memory_MemAvailable_bytescontainer_memory_working_set_bytes{container!="",namespace=~"default|kube-system"}

问题本质是“可用内存”在不同层级有不同定义。K3s 的轻量不等于配置可省略——尤其在资源受限节点上,必须显式预留、设限、监控 cgroup 视角的真实用量。

相关专题

更多
sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

385

2023.09.04

default gateway怎么配置
default gateway怎么配置

配置default gateway的步骤:1、了解网络环境;2、获取路由器IP地址;3、登录路由器管理界面;4、找到并配置WAN口设置;5、配置默认网关;6、保存设置并退出;7、检查网络连接是否正常。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

220

2023.12.07

Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务

Golang云原生微服务Kubernetes (K8s) 是指 使用 Go 语言(Golang)编写的云原生微服务,并利用 Kubernetes 平台进行容器化部署、自动化管理、弹性伸缩和高效编排的一整套现代应用架构方案。

24

2025.12.22

Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务

Golang云原生微服务Kubernetes (K8s) 是指 使用 Go 语言(Golang)编写的云原生微服务,并利用 Kubernetes 平台进行容器化部署、自动化管理、弹性伸缩和高效编排的一整套现代应用架构方案。

24

2025.12.22

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1349

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

702

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

294

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

776

2023.07.05

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

43

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 7.3万人学习

Git 教程
Git 教程

共21课时 | 2.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号