K8s集群GPU弹性伸缩配置实战：从驱动安装到HPA自动扩缩容

在K8s集群中配置GPU弹性伸缩，核心是让GPU节点能按负载自动增减，同时保证Pod能正确申请和释放GPU资源。
本文从零开始，带你完成驱动安装、插件部署、节点池配置和HPA自动扩缩容，并给出验证与排错方法。

先决条件与基础环境确认

开始前，请确认你的K8s集群满足以下条件：

• 集群版本建议1.20及以上，且已安装kubectl和helm。
• 至少有一个GPU节点，已安装对应NVIDIA驱动（版本需与CUDA工具包兼容）。
• 节点已加入集群，且nvidia-smi命令能正常输出GPU信息。
• 集群已配置好网络插件和存储插件（如需）。

检查节点GPU状态：

kubectl get nodes -o wide
# 在GPU节点上执行
nvidia-smi

如果nvidia-smi报错，先安装驱动。
以Ubuntu 20.04为例：

sudo apt update
sudo apt install -y nvidia-driver-470
sudo reboot

重启后再次执行nvidia-smi确认驱动正常。

部署NVIDIA设备插件与GPU Operator

K8s需要设备插件才能识别GPU资源。
推荐使用NVIDIA GPU Operator，它自动管理驱动、容器运行时和插件。

添加Helm仓库并安装：

helm repo add nvidia https://helm.ngc.nvidia.com/nvidia
helm repo update
helm install --wait --generate-name nvidia/gpu-operator -n gpu-operator --create-namespace

安装完成后，检查Pod状态：

kubectl get pods -n gpu-operator

所有Pod应为Running。
然后查看节点GPU容量：

kubectl describe node  | grep nvidia.com/gpu

若显示nvidia.com/gpu: 1（或更多），说明插件已生效。

配置GPU节点池与弹性伸缩策略

弹性伸缩依赖集群自动扩缩器（Cluster Autoscaler）和节点池。
以云厂商为例，创建GPU节点池时需指定GPU型号和数量。
自建集群可使用Cluster Autoscaler配合云API。

关键点：

• 节点池需设置最小和最大节点数，最小为0可实现缩容到零。
• 为GPU节点打上标签，例如accelerator: nvidia-gpu，便于调度。
• 部署Cluster Autoscaler，配置--node-group-auto-discovery或--nodes参数。

示例：为节点打标签

kubectl label nodes  accelerator=nvidia-gpu

部署Cluster Autoscaler时，确保其能识别GPU节点池。
以AWS为例，在启动参数中加入：

--node-group-auto-discovery=asg:tag=k8s.io/cluster-autoscaler/enabled,k8s.io/cluster-autoscaler/

部署HPA实现GPU负载自动扩缩容

HPA基于CPU或自定义指标扩缩Pod副本数，但GPU本身不直接作为HPA指标。
通常做法是：用GPU利用率或队列长度作为自定义指标，通过Prometheus Adapter暴露给HPA。

步骤：

1. 部署Prometheus和Prometheus Adapter，采集GPU指标（如DCGM_FI_DEV_GPU_UTIL）。
2. 创建HPA，引用自定义指标。

HPA示例：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: gpu-workload-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: gpu-app
  minReplicas: 1
  maxReplicas: 5
  metrics:
  - type: Pods
    pods:
      metric:
        name: dcgm_gpu_utilization
      target:
        type: AverageValue
        averageValue: 70

应用后，当GPU平均利用率超过70%时，HPA会尝试增加Pod。
但需注意：如果节点GPU资源不足，新Pod会Pending，触发Cluster Autoscaler扩容节点。

验证弹性伸缩效果与常见报错

验证扩容：

• 模拟GPU负载：kubectl exec -it -- nvidia-smi -l 或运行CUDA压力测试。
• 观察Pod数量变化：kubectl get hpa -w。
• 观察节点数量变化：kubectl get nodes -w。

常见报错与解决：

• 0/1 nodes are available: 1 Insufficient nvidia.com/gpu：节点GPU资源不足，检查节点池最大节点数是否已满，或GPU插件是否正常。
• HPA无法获取指标：检查Prometheus Adapter配置，确认自定义指标API已注册。
• 缩容后GPU未释放：确保Pod正确退出，驱动和插件支持资源回收。

避坑指南

• 驱动版本冲突：GPU Operator可能自动安装驱动，若节点已有驱动，需在Operator中设置driver.enabled=false。
• 节点池缩容到零：部分云厂商需额外配置，确保Cluster Autoscaler能删除空闲节点。
• HPA指标延迟：自定义指标采集有延迟，建议设置behavior字段平滑扩缩容。
• 资源申请单位：Pod中申请GPU必须写nvidia.com/gpu: 1，且不能超过节点GPU数量。

总结

完成以上步骤后，你的K8s集群便具备了GPU弹性伸缩能力。
实际生产中，建议结合监控告警持续观察扩缩容触发条件，并根据业务负载调整HPA阈值和节点池上下限。
如果遇到驱动或插件问题，优先检查NVIDIA GPU Operator的Pod日志。