K8s集群GPU算力管理：CapacityOps实战配置与排错

在Kubernetes集群里管理GPU算力，核心是让节点上的GPU能被调度器看见并按需分配给Pod。
如果节点有GPU但Pod一直Pending，或者kubectl describe node看不到nvidia.com/gpu资源，通常是设备插件没装好或容量上报有问题。
下面按准备、操作、避坑、验证的顺序讲清楚。

先确认节点和驱动是否就绪

登录每台带GPU的节点，执行以下命令检查驱动和容器运行时：

nvidia-smi

正常会输出GPU型号、驱动版本和显存占用。
如果命令不存在，先安装NVIDIA驱动，别急着装K8s插件。

接着确认容器运行时。
以containerd为例：

containerd config dump | grep -i nvidia

如果没看到nvidia-container-runtime相关配置，需要安装nvidia-container-toolkit并重启containerd。

sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=containerd
sudo systemctl restart containerd

这一步做完后，用ctr run --rm --gpus 0 nvidia/cuda:12.0-base nvidia-smi验证容器内能否看到GPU。

安装NVIDIA设备插件并上报算力容量

K8s本身不识别GPU，要靠Device Plugin把节点上的GPU数量注册成扩展资源。
官方推荐用DaemonSet方式部署：

kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.5/nvidia-device-plugin.yml

注意版本号请根据你的K8s版本选择兼容的tag，不确定时先查看官方release说明。
部署后检查Pod状态：

kubectl get pods -n kube-system | grep nvidia

预期看到nvidia-device-plugin-daemonset-xxxxx处于Running。
然后查看节点容量：

kubectl describe node  | grep -A5 Capacity

如果出现nvidia.com/gpu: 1（或实际卡数），说明容量上报成功。
没有的话，用kubectl logs查看设备插件日志，常见原因是驱动版本和插件不匹配。

申请GPU资源时的常见坑

不要写小数。
GPU是整数资源，nvidia.com/gpu: 0.5会直接报错或调度失败。

limits和requests必须一致。
K8s对扩展资源要求两者相等，只写requests不写limits不会生效：

resources:
  limits:
    nvidia.com/gpu: 1
  requests:
    nvidia.com/gpu: 1

节点可能有污点。
如果GPU节点打了NoSchedule，Pod需要加toleration才能调度上去。
用kubectl describe node看Taints字段。

共享GPU要额外方案。
默认一个GPU只能给一个Pod独占，想多Pod共享需要装MIG或时间切片插件，别直接改资源值。

验证调度结果和算力使用

创建测试Pod后，用以下命令确认它落在GPU节点并真正拿到卡：

kubectl get pod  -o wide
kubectl exec -it  -- nvidia-smi

如果nvidia-smi在容器内报错，检查Pod是否申请了GPU资源、节点插件是否正常。
调度成功但容器内无卡，多半是runtime配置没生效。

日常巡检可以定期执行：

kubectl get nodes -o custom-columns=NAME:.metadata.name,GPU:.status.capacity.nvidia\\.com/gpu

这样能快速看出哪些节点GPU容量为0或缺失。

几个容易忽略的问题

驱动升级后插件要重启。
节点驱动更新后，设备插件DaemonSet不会自动重载，需要手动删除Pod让它重建。

kubelet要开启DevicePlugins特性。
较老版本K8s可能需要确认--feature-gates=DevicePlugins=true，新版本默认开启。

容量变了但调度器没更新。
如果手动改了节点标签或插件重启，调度器缓存可能延迟，观察几十秒再判断。

多卡节点只上报了1。
检查nvidia-smi -L是否列出所有卡，以及插件是否配置了--fail-on-init-error=false导致静默失败。

整体思路就是：驱动和runtime先通，设备插件再上报，最后靠资源声明和调度验证闭环。
按这个顺序排查，大部分GPU算力容量问题都能定位到具体环节。