生产环境Kubernetes落地需以稳定性、可观测性、安全性和可维护性为核心，通过高可用架构、GitOps管控、闭环监控、最小权限策略、渐进式发布等实现可持续运维。
在生产环境中落地 Kubernetes，核心不是堆砌功能，而是围绕稳定性、可观测性、安全性和可维护性构建一套可持续演进的运维体系。单纯跑通集群或部署几个 Pod 远远不够，关键在于把“云原生”真正变成日常运维的肌肉记忆。
稳定压倒一切：从集群架构设计开始
生产级 Kubernetes 集群必须规避单点故障。控制平面至少 3 节点高可用（etcd 与 API Server 分离部署更佳），工作节点按角色打标签（如 node-role.kubernetes.io/ingress=、node-role.kubernetes.io/app=），配合污点（taint）和容忍（toleration）实现流量与计算资源隔离。建议使用 kubeadm 或 RKE2 等成熟工具初始化，禁用自动升级，所有变更走 GitOps 流水线（如 Argo CD）管控。
- etcd 数据定期快照并异地备份，监控其 WAL 写延迟与 leader 切换频率
- API Server 启用审计日志，日志级别设为 RequestResponse，保留至少 90 天
- Node 不直接暴露公网，通过 LoadBalancer 或 Ingress Controller 统一入口
可观测不是加监控，而是建闭环
只看 Prometheus 的 CPU 使用率没意义，要能从 HTTP 503 错误快速定位到某个 Deployment 的 HPA 触发滞后，再下钻到对应 Pod 的 readiness probe 失败原因。生产环境需统一日志（Loki + Promtail）、指标（Prometheus + kube-state-metrics + node-exporter）、链路（OpenTelemetry Collector + Jaeger）三套数据源，并用 Grafana 做关联看板。关键 SLO 指标（如 API 99 分位响应时长、Pod 启动成功率）必须配置告警，且告警必须带修复指引（例如：“Deployment xxx rollout stuck → 执行 kubectl rollout status deploy/xxx -n yyy”）。
- 每个命名空间强制启用 ResourceQuota 和 LimitRange，防止单应用耗尽集群资源
- Pod 必须定义 livenessProbe 和 readinessProbe，超时与阈值需结合应用实际响应周期设定
- 使用 kube-prometheus-stack 一键部署监控栈，但需自定义 alert-rules.yaml 补充业务规则
安全不是加个 RBAC 就完事
默认 ServiceAccount 权限过大是常见隐患。生产环境应关闭 default SA 的 auto-mount，为每个组件创建最小权限 SA（如 ingress-controller 只需读取 Ingress、Endpoints、Secret），并通过 OPA Gatekeeper 或 Kyverno 实施策略即代码（Policy as Code）。镜像必须来自可信仓库，扫描结果集成进 CI 流程；敏感配置用 External Secrets 同步 Vault，绝不存入 ConfigMap 或明文 Secret。
- 启用 PodSecurity Admission（替代已废弃的 PSP），按命名空间设置 baseline 或 restricted 级别策略
- 网络策略（NetworkPolicy）默认拒绝所有入站/出站，仅对必要通信显式放行（如 frontend → backend）
- 定期运行 kube-bench 检查 CIS Kubernetes Benchmark 合规项，生成修复清单
发布与回滚必须秒级可控
蓝绿、金丝雀不是选配，而是生产发布的标准动作。用 Argo Rollouts 或 Flagger 实现渐进式发布，配合 Prometheus 指标自动判断是否继续或中止。每次发布前触发 pre-sync hook（如数据库 schema 检查），失败则阻断；发布后执行 post-sync hook（如 smoke test）。所有 Helm Chart 版本归档至私有仓库，Chart 中 values.yaml 仅保留环境差异化字段，其余参数通过 Kustomize patch 注入。
- 滚动更新 maxSurge 设为 1，maxUnavailable 设为 0，确保服务零中断
- 每个 Deployment 必须设置 revisionHistoryLimit（建议 5–10），避免历史版本堆积影响 etcd 性能
- 回滚命令标准化为 kubectl rollout undo deploy/xxx -n yyy --to-revision=zzz，且该命令写入发布 SOP 文档
