K8s CGroup v2 深度解析：资源隔离原理、迁移实战与生产避坑指南

/sys/fs/cgroup/
├── cpu/           # CPU 调度
├── cpuacct/       # CPU 统计
├── memory/        # 内存限制
├── blkio/         # 块 I/O
├── devices/       # 设备访问
├── net_cls/       # 网络类别
└── pids/          # 进程数限制

# cgroup v1 CPU 限制接口
/sys/fs/cgroup/cpu/<group>/cpu.cfs_quota_us   # 配额时间 (微秒)
/sys/fs/cgroup/cpu/<group>/cpu.cfs_period_us  # 周期时间 (微秒)

/sys/fs/cgroup/                  # v2 根节点
├── cgroup.controllers           # 该层级可用的控制器
├── cgroup.subtree_control       # 该层级已启用的控制器
├── system.slice/
│   ├── kubelet.service/
│   └── containerd.service/
└── kubepods.slice/
    ├── besteffort.slice/        # BestEffort QoS Pod
    ├── burstable.slice/         # Burstable QoS Pod
    └── guaranteed.slice/        # Guaranteed QoS Pod
        └── pod<uid>/
            └── <container-id>/
                ├── cpu.max      # CPU 限制（替代 cpu.cfs_quota_us）
                ├── memory.max   # 内存硬限制
                ├── memory.high  # 内存软限制（新增！）
                └── io.max       # I/O 带宽限制

# cgroup v2 的 CPU 限制接口
cat /sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/pod.../cpu.max
# 输出：50000 100000
# 含义：每 100ms (100000μs) 内最多使用 50ms (50000μs)，即 0.5 CPU

# v2 新增：CPU 权重（替代 v1 的 cpu.shares）
cat /sys/fs/cgroup/kubepods.slice/cpu.weight
# 输出：100 （默认权重，范围 1-10000）

# cpu.max.burst：允许突发累积的时间预算
echo "50000 100000" > cpu.max        # 0.5 CPU 配额
echo "25000" > cpu.max.burst         # 可累积最多额外 25ms 突发预算

# memory.max：硬限制，超过则 OOM Kill
echo "1073741824" > memory.max   # 1GiB 硬限制

# memory.high：软限制（v2 新增）
echo "858993459" > memory.high   # 800MiB 软限制

# io.max：设备级别的 I/O 带宽和 IOPS 限制
# 格式：MAJ:MIN rbps=X wbps=X riops=X wiops=X
echo "8:0 rbps=104857600 wbps=104857600" > io.max  # 100MB/s 读写限速

# io.weight：I/O 权重（1-10000）
echo "100" > io.weight

# io.stat：I/O 统计（实时）
cat io.stat
# 8:0 rbytes=1073741824 wbytes=536870912 rios=1024 wios=512 dbytes=0 dios=0

# 方法1：检查节点 cgroup 版本
ssh node-1 "stat -fc %T /sys/fs/cgroup"
# cgroup2fs  → cgroup v2
# tmpfs      → cgroup v1

# 方法2：通过 K8s 节点信息
kubectl get node node-1 -o jsonpath='{.status.nodeInfo.osImage}'

# 方法3：检查 kubelet 配置
ssh node-1 "cat /var/lib/kubelet/config.yaml | grep -i cgroup"
# cgroupDriver: systemd  （v2 推荐使用 systemd 驱动）
# cgroupVersion: v2

# /var/lib/kubelet/config.yaml
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration

# 关键配置：使用 systemd cgroup 驱动（v2 必须）
cgroupDriver: systemd

# v1.25+ 新增字段：显式声明 cgroup 版本（可选，kubelet 会自动检测）
# cgroupsPerQOS: true  # 开启 QoS 级别的 cgroup 层次

# 内存管理器策略（v2 支持）
memoryManagerPolicy: Static
reservedMemory:
  - numaNode: 0
    limits:
      memory: "1Gi"

# containerd 配置（/etc/containerd/config.toml）
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
  SystemdCgroup = true  # 必须为 true

/sys/fs/cgroup/kubepods.slice/
├── kubepods-besteffort.slice/      # BestEffort QoS
│   └── kubepods-besteffort-pod<uid>.slice/
│       └── <container-id>/
├── kubepods-burstable.slice/       # Burstable QoS
│   └── kubepods-burstable-pod<uid>.slice/
│       └── <container-id>/
└── kubepods-guaranteed.slice/      # Guaranteed QoS（默认，未分类）
    └── kubepods-pod<uid>.slice/
        └── <container-id>/

# 获取 Pod UID
POD_UID=$(kubectl get pod my-pod -o jsonpath='{.metadata.uid}')

# 查看 cgroup 信息
ls /sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod${POD_UID}.slice/

# 查看 CPU 限制
cat /sys/fs/cgroup/kubepods.slice/.../cpu.max
# 200000 100000  → 2 CPU (limits.cpu: "2")

# 查看内存限制
cat /sys/fs/cgroup/kubepods.slice/.../memory.max
# 1073741824     → 1Gi (limits.memory: "1Gi")

# 查看内存软限制（requests.memory 对应）
cat /sys/fs/cgroup/kubepods.slice/.../memory.high
# 858993459      → 约 820Mi

memory.min  = requests.memory   # 内存保障：不被回收的最低内存
memory.high = requests.memory * memoryThrottlingFactor  # 软限制（触发回收）
memory.max  = limits.memory     # 硬限制（OOM Kill）

# /var/lib/kubelet/config.yaml
memoryThrottlingFactor: 0.8  # 更激进的回收策略

# 修改 containerd 配置
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml

# 同步修改 kubelet 配置
sed -i 's/cgroupDriver: cgroupfs/cgroupDriver: systemd/' /var/lib/kubelet/config.yaml

# 重启服务
systemctl restart containerd kubelet

# 升级 cAdvisor 到 0.47+
# 或升级 metrics-server / kube-state-metrics

# v2 对应的新接口
cat /sys/fs/cgroup/kubepods.slice/.../cpu.stat
# usage_usec 12345678
# user_usec 11234567
# system_usec 1111111
# nr_periods 1234       # 总调度周期数
# nr_throttled 56       # 被 throttle 的周期数
# throttled_usec 567890 # throttle 总时长

# 方案1：给 Pod 打上注解，禁用 MemoryQoS（慎用）
annotations:
  memory.alpha.kubernetes.io/qos: "disable"

# 方案2：调大 request/limit 比例
resources:
  requests:
    memory: "1.8Gi"  # 提高 requests 以提高 memory.high 阈值
  limits:
    memory: "2Gi"

# 方案3：kubelet 全局调整 throttling factor
# /var/lib/kubelet/config.yaml
memoryThrottlingFactor: 0.95  # 宽松一些

# JVM 启动参数显式配置内存
-XX:MaxRAMPercentage=75.0           # 使用容器内存的 75%
-XX:+UseContainerSupport             # 必须开启容器内存感知
-XX:+ExitOnOutOfMemoryError          # OOM 时主动退出（优雅退出比被 Kill 好）

# Java 17+ 推荐
-XX:+UseZGC                          # ZGC 对 cgroup v2 内存压力更友好

# 使用 NodeSelector 或 NodeAffinity 隔离
# 给 cgroup v2 节点打标签
kubectl label node cgroupv2-node01 node.kubernetes.io/cgroup-version=v2

# Pod 亲和性配置
affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
      - matchExpressions:
        - key: node.kubernetes.io/cgroup-version
          operator: In
          values:
          - v2

groups:
- name: cgroup-v2-alerts
  rules:
  # CPU 高 throttle 率
  - alert: ContainerCPUThrottlingHigh
    expr: |
      rate(container_cpu_cfs_throttled_seconds_total[5m])
        / rate(container_cpu_usage_seconds_total[5m]) > 0.5
    for: 10m
    labels:
      severity: warning
    annotations:
      summary: "容器 CPU throttle 率超过 50%"
      description: "Pod {{ $labels.pod }} CPU 被 throttle 超过 50%，可能导致高延迟，建议提高 limits.cpu"

  # 内存接近软限制（memory.high）
  - alert: ContainerMemoryNearHighLimit
    expr: |
      container_memory_working_set_bytes
        / container_spec_memory_limit_bytes > 0.85
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "容器内存超过限制的 85%"
      description: "Pod {{ $labels.pod }} 内存使用 {{ $value | humanizePercentage }}，即将触发内核内存回收"

  # OOM Kill 事件
  - alert: ContainerOOMKilled
    expr: kube_pod_container_status_last_terminated_reason{reason="OOMKilled"} == 1
    for: 0m
    labels:
      severity: critical
    annotations:
      summary: "容器被 OOM Kill"
      description: "Pod {{ $labels.pod }} 容器 {{ $labels.container }} 因内存不足被 Kill"