K8s DRA异构GPU调度多模型推理集群搭建指南

Kubernetes DRA（Dynamic Resource Allocation）是调度异构GPU的关键技术，它允许集群管理员定义资源Class，根据模型推理任务的需求动态分配不同型号的GPU。
本文面向零基础用户，完整演示如何搭建一个支持多模型推理的K8s DRA异构GPU集群，包含环境检查、DRA组件安装、资源Class配置、Pod调度验证和常见问题处理。

环境准备：确认K8s版本与GPU驱动

DRA特性从Kubernetes 1.26进入Beta，建议使用1.28及以上版本以获得稳定支持。
首先检查集群版本：

kubectl version --short

输出中Server Version需为v1.28+。
接着确认所有GPU节点已安装NVIDIA驱动和nvidia-container-toolkit，并配置好runtime：

nvidia-smi  # 查看GPU型号与驱动版本

驱动版本建议≥470，并确保每个GPU节点使用相同的驱动，避免兼容问题。

部署DRA组件：开启Dynamic Resource Allocation

K8s原生DRA依赖调度器扩展，推荐使用NVIDIA的k8s-dra-driver组件。
执行以下命令部署：

kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-dra-driver/main/deploy/helm/values.yaml  # 实际请使用官方latest YAML

部署后检查Pod状态：

kubectl get pods -n nvidia-dra-driver

确保所有Pod为Running。
同时需要在每个GPU节点的kubelet配置中添加--feature-gates=DynamicResourceAllocation=true并重启kubelet，此操作因发行版而异，建议查阅官方文档。

配置GPU资源Class：适配多型号GPU

在DRA中，通过ResourceClass对应不同GPU型号。
创建YAML文件gpu-class.yaml：

apiVersion: resource.k8s.io/v1alpha2
kind: ResourceClass
metadata:
  name: gpu-a100
spec:
  driverName: nvidia.com
  parametersRef:
    kind: NvidiaResourceClassParameters
    name: a100-params
---
apiVersion: resource.k8s.io/v1alpha2
kind: ResourceClass
metadata:
  name: gpu-v100
spec:
  driverName: nvidia.com
  parametersRef:
    kind: NvidiaResourceClassParameters
    name: v100-params

注意：parametersRef的具体结构需参考驱动文档，此处为示意。
实际部署时，可通过NvidiaResourceClassParameters指定GPU型号、显存大小等。
应用配置：

kubectl apply -f gpu-class.yaml

部署多模型推理Pod：绑定对应GPU Class

以两个推理任务为例，一个需要A100，一个需要V100。
在Pod的resourceClaims中引用不同的ResourceClass：

apiVersion: v1
kind: Pod
metadata:
  name: inference-a100
spec:
  resourceClaims:
  - name: gpu
    resourceClass: gpu-a100
  containers:
  - name: inference
    image: nvcr.io/nvidia/tritonserver:23.12-py3
    command: ["tritonserver", "--model-repository=/models"]
    resources:
      claims:
      - name: gpu

创建Pod后，检查其调度到的节点和分配的GPU类型：

kubectl describe pod inference-a100 | grep -i node
tr '\n' ';' | xargs -I{} sh -c 'echo {}; kubectl exec {} -- nvidia-smi -L'

输出应显示Pod使用的GPU型号与ResourceClass匹配。

验证调度效果与常见问题

如果多个推理Pod需要不同GPU，DRA调度器会自动将Pod调度到拥有对应GPU型号的节点上。
验证方法：

• 查看Pod Events：kubectl describe pod 确认ResourceClass被正确解析。
• 检查节点GPU分配：kubectl get nodes -o wide 结合GPU节点标签（需提前为节点设置nvidia.com/gpu.product标签）。

常见问题：

1. Pod卡在Pending状态：检查资源Class名称是否匹配，驱动是否正确安装。运行kubectl get resourceclass确认Class存在。
2. DRA驱动Pod CrashLoopBackOff：查看驱动日志kubectl logs -n nvidia-dra-driver ，常见原因为节点kernel版本与驱动不兼容。
3. 调度后GPU型号不符：确认节点标签与ResourceClass的parametersRef匹配。可通过kubectl label node nvidia.com/gpu.product=A100-SXM-80GB --overwrite手动纠正。

实际场景避坑指南

• DRA与早期GPU Operator的nvidia.com/gpu资源冲突，请确保集群中只启用一种调度方式。
• 多模型推理场景下，不同模型的显存需求差异大，建议在ResourceClass参数中增加显存上限限制，避免单个Pod占用全部显存。
• 使用Helm部署DRA驱动时，注意values.yaml中的kubeletPluginPath与节点实际路径一致，否则插件无法加载。

常见问题解答（FAQ）

Q1：K8s DRA与GPU Operator中的时间片调度有何区别？
DRA是K8s原生资源调度扩展，支持精细的GPU型号选择；时间片调度是NVIDIA的额外功能，两者可结合使用，但需注意参数覆盖。

Q2：是否必须使用NVIDIA的k8s-dra-driver？
社区还有AMD、Intel等DRA实现，但NVIDIA是目前异构GPU推理场景的主流选择。

Q3：为什么我的Pod始终调度到同一台节点？
可能是因为其他节点没有对应GPU型号或资源Class未正确匹配。检查节点标签和ResourceClass的parametersRef。

Q4：DRA配置修改后需要重启节点吗？
仅需重启kubelet并确保DRA驱动Pod重新加载配置，无需重启整个节点。

如果你正在处理K8s DRA异构GPU调度多模型推理集群搭建，建议先按本文完整步骤执行，再根据实际环境调整GPU型号列表和显存参数；
遇到异常时优先检查Pod事件和驱动日志。
理解DRA的核心逻辑后，后续管理多模型推理资源会更灵活。