K8s集群GPU算力DBOps实战：从设备插件到监控运维

知识分享

2026-10-16 21:00

19 阅读

在K8s集群里让GPU算力真正可用，核心是三件事：节点装好驱动和容器运行时、集群部署设备插件暴露GPU资源、工作负载通过resources.limits申请算力。
DBOps在这里指的是围绕数据库和算力任务建立可观测、可运维的流程，而不是某个具体软件。
下面按可执行顺序展开。

环境前提与节点检查

开始前确认集群版本在Kubernetes 1.20以上，GPU节点已安装NVIDIA驱动。
登录GPU节点执行：

nvidia-smi

能输出显卡型号、驱动版本和显存占用，说明驱动正常。
如果提示command not found，先装驱动再继续。

接着确认容器运行时。
以containerd为例，编辑/etc/containerd/config.toml，确保没有把NVIDIA运行时遗漏：

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia]
  runtime_type = "io.containerd.runc.v2"

改完执行systemctl restart containerd并验证systemctl status containerd为active。

部署NVIDIA设备插件暴露算力

K8s本身不认识GPU，需要nvidia-device-plugin把节点GPU注册成可调度资源。
执行：

kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/main/deployments/static/nvidia-device-plugin.yml

部署后检查：

kubectl get pods -n kube-system | grep nvidia
kubectl describe node  | grep nvidia.com/gpu

如果describe能看到nvidia.com/gpu: 1或更大数值，说明算力已暴露。
若为0，优先看插件Pod日志：

kubectl logs -n kube-system <插件Pod名>

常见原因是驱动版本与插件不匹配，或容器运行时未配置nvidia runtime。

让Pod申请GPU并验证

写一个最小测试Pod，申请1块GPU：

apiVersion: v1
kind: Pod
metadata:
  name: gpu-test
spec:
  containers:
  - name: cuda
    image: nvidia/cuda:12.2.0-base-ubuntu22.04
    command: ["nvidia-smi"]
    resources:
      limits:
        nvidia.com/gpu: 1
  restartPolicy: Never

应用后查看结果：

kubectl apply -f gpu-test.yaml
kubectl logs gpu-test

日志里能看到显卡信息即算力调度成功。
若Pod一直Pending，用kubectl describe pod gpu-test看事件，通常是节点没有可分配GPU或资源被占满。

DBOps视角下的算力监控与运维

算力跑起来后，运维重点转向可观测性。
建议采集三类指标：GPU利用率、显存占用、温度。
可用dcgm-exporter配合Prometheus：

helm repo add gpu-helm-charts https://nvidia.github.io/dcgm-exporter/helm-charts
helm install dcgm-exporter gpu-helm-charts/dcgm-exporter

在Grafana里重点看DCGM_FI_DEV_GPU_UTIL和DCGM_FI_DEV_FB_USED。
数据库类任务如果同时吃GPU和显存，要设置合理的limits，避免一个Pod占满整卡导致其他任务排队。

常见坑与处理思路

插件Pod CrashLoopBackOff：多半是驱动版本过旧。
先nvidia-smi确认驱动，再对照插件Release说明选择兼容版本，不要盲目用latest。

Pod申请GPU后仍报找不到设备：检查是否误用了普通runtime。
containerd下应确保Pod调度到已配置nvidia runtime的节点，必要时在Pod里加runtimeClassName: nvidia。

节点重启后GPU消失：确认驱动服务是否开机自启，systemctl enable nvidia-persistenced，并检查设备插件DaemonSet是否重新拉起。

多任务争抢显存：K8s默认按整卡分配，不支持显存切分。
若需要共享，需评估MIG或时间片方案，并确认硬件和驱动支持后再上生产。

验证清单

操作完成后逐项确认：节点nvidia-smi正常；kubectl describe node能看到nvidia.com/gpu；
测试Pod日志输出显卡信息；
监控面板有GPU指标曲线。
四项都通过，说明K8s集群GPU算力已接入DBOps运维体系，后续可在此基础上做任务调度和容量规划。

常见疑问

没有GPU的节点能加入集群吗？ 可以，设备插件只在有GPU的节点注册资源，普通节点不受影响，调度时靠resources.limits区分。

一个Pod能用多块GPU吗？ 可以，把nvidia.com/gpu设为2或更多，但前提是节点有足够空闲GPU，且任务本身支持多卡。

DBOps必须用特定工具吗？ 不必。
DBOps强调流程和可观测性，Prometheus加Grafana加日志采集就能满足多数场景，工具按团队习惯选择即可。

K8s集群GPU算力调度配置与IOSOps运维实践