K8s集群GPU拓扑感知调度：从部署到验证的完整配置教程

在Kubernetes集群中运行多卡GPU任务时，如果Pod被调度到PCIe拓扑较差的NUMA节点上，GPU之间的通信带宽会显著下降，导致训练或推理性能受损。
GPU拓扑感知调度能让kubelet根据GPU设备的NUMA亲和性分配资源，确保同一Pod内的GPU尽量位于同一NUMA节点或通过高速互联连接，从而提升任务效率。
本文面向零基础用户，提供从环境准备到效果验证的完整操作步骤。

准备工作：集群与节点要求

在开始配置前，请确保满足以下条件：

• Kubernetes集群版本1.18及以上（拓扑感知调度功能在1.16引入Alpha，1.18进入Beta，建议使用稳定版）。
• 节点已安装NVIDIA GPU驱动和nvidia-container-toolkit。
• 节点已加入集群，并处于Ready状态。
• 拥有集群管理员权限，可以修改kubelet配置和部署DaemonSet。
• 如果使用GPU Operator，版本建议1.9以上，以支持拓扑感知功能。

检查节点GPU是否被识别：

kubectl get nodes -o wide
# 登录到GPU节点
nvidia-smi -L

预期输出应列出GPU设备，如GPU 0: A100-SXM4-40GB。

部署NVIDIA设备插件与拓扑感知支持

如果尚未安装NVIDIA设备插件，可以通过GPU Operator快速部署。
以下使用Helm安装GPU Operator（需提前安装Helm 3）：

helm repo add nvidia https://nvidia.github.io/gpu-operator
helm repo update
helm install --generate-name nvidia/gpu-operator \
  --namespace gpu-operator --create-namespace \
  --set driver.enabled=false \
  --set toolkit.enabled=false \
  --set devicePlugin.enabled=true \
  --set topology.enabled=true

关键参数说明：

• driver.enabled=false：假设节点已预装驱动，避免重复安装。
• toolkit.enabled=false：已安装nvidia-container-toolkit时同样跳过。
• devicePlugin.enabled=true：部署NVIDIA设备插件，暴露GPU资源。
• topology.enabled=true：启用拓扑感知调度所需的拓扑信息上报。

安装后检查Pod状态：

kubectl get pods -n gpu-operator

等待所有Pod为Running状态。

配置kubelet拓扑管理策略

拓扑感知调度依赖kubelet的拓扑管理策略。
默认情况下，kubelet使用none策略，需要修改为best-effort或strict。strict策略要求Pod的所有资源都满足拓扑亲和性，否则Pod会处于Pending状态；best-effort则尽量满足。

编辑kubelet配置文件（通常位于/var/lib/kubelet/config.yaml）：

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
topologyManagerPolicy: "best-effort"
topologyManagerScope: "pod"

如果使用kubeadm安装的集群，也可以直接修改kubelet的systemd配置或通过ConfigMap。
修改后重启kubelet：

sudo systemctl restart kubelet

验证策略是否生效：

kubectl get --raw "/api/v1/nodes/<节点名>/proxy/configz" | grep -A2 topologyManager

预期输出包含"topologyManagerPolicy":
"best-effort"和"topologyManagerScope":
"pod"。

验证GPU拓扑感知调度效果

创建一个请求多张GPU的Pod，观察调度结果。

apiVersion: v1
kind: Pod
metadata:
  name: gpu-topology-test
spec:
  containers:
  - name: cuda
    image: nvcr.io/nvidia/cuda:11.0-base
    command: ["nvidia-smi", "topo", "-m"]
    resources:
      limits:
        nvidia.com/gpu: 2

应用后查看日志：

kubectl apply -f gpu-topology-test.yaml
kubectl logs gpu-topology-test

输出会显示GPU拓扑矩阵，如果两张GPU在同一NUMA节点，矩阵中对应位置会显示NV#或PIX等高速连接标识。
同时，检查Pod所在节点的NUMA节点信息：

kubectl exec gpu-topology-test -- nvidia-smi topo -m

若看到GPU之间通过NVLink或PCIe交换机连接，说明拓扑感知调度生效。

常见问题与避坑指南

Pod一直Pending，事件显示“Topology Affinity Error”

• 检查kubelet拓扑策略是否为strict，如果是，尝试改为best-effort。
• 确认节点有足够的GPU资源且拓扑满足要求。
• 查看kubelet日志：journalctl -u kubelet -f。

GPU设备插件未上报拓扑信息

• 确认GPU Operator的topology组件已运行：kubectl get pods -n gpu-operator | grep topology。
• 检查节点是否暴露NUMA信息：lscpu | grep NUMA。

拓扑感知未生效，Pod仍被分配到不同NUMA节点

• 确保Pod的resources.limits中只包含GPU资源，其他资源（如CPU、内存）未指定，否则拓扑管理器可能无法协调。
• 确认kubelet配置中topologyManagerScope为pod。

性能提升不明显

• 拓扑感知调度主要优化GPU间通信，如果应用本身通信量小，效果有限。
• 使用nvidia-smi topo -m确认GPU间实际连接类型。

总结与适用条件

通过以上步骤，你可以在Kubernetes集群中启用GPU拓扑感知调度，使多卡任务获得更好的通信性能。
该功能适用于AI训练、科学计算等对GPU间带宽敏感的场景。
注意，拓扑感知调度需要kubelet和设备插件协同工作，且strict策略可能降低调度成功率，建议从best-effort开始。
实际效果受硬件拓扑、驱动版本和Kubernetes版本影响，建议在测试环境验证后再上生产。