AI服务器GPU算力配额限制：用nvidia-smi和容器实现按任务分配

GPU算力配额的核心是限制每个任务能使用的计算资源，而不是只卡显存。
在共享AI服务器上，如果只限制显存，一个任务仍可能占满GPU计算单元，导致其他任务排队。
本文针对Linux服务器，用Docker和nvidia-smi实现按容器的算力配额，并给出验证方法。

先判断显卡是否支持MIG或时间片调度

配额方案取决于显卡型号。
NVIDIA A100、H100等数据中心卡支持MIG（多实例GPU），能把一张卡切成多个独立实例，每个实例有固定的显存和计算切片。
消费级卡如RTX 4090不支持MIG，只能用时间片方式限制计算利用率。

检查命令：

nvidia-smi -L
nvidia-smi mig -lgip  # 仅MIG支持的卡有输出

如果mig -lgip报错或无输出，说明不支持MIG，应选择时间片配额方案。

用Docker限制GPU计算利用率

时间片方案通过NVIDIA Container Toolkit的NVIDIA_VISIBLE_DEVICES和NVIDIA_DRIVER_CAPABILITIES无法直接限制算力百分比，需要借助nvidia-smi的-pl（功率限制）或-lgc（锁定GPU时钟）间接限制。
更可控的方式是使用nvidia-smi的compute-mode配合cgroup？
实际上，NVIDIA官方推荐用MIG做硬隔离，时间片场景下可用nvidia-smi -i 0 -lgc 1000,1000锁定频率来降低算力，但这影响整卡。

更实用的容器级配额可通过--gpus参数指定卡号，再结合nvidia-smi -i 0 -pm 1开启持久模式。
但真正的按容器配额需要MIG。

建议：如果显卡支持MIG，创建MIG实例并分配给容器；
如果不支持，只能通过调度器（如Kubernetes）按时间片轮转，或使用nvidia-smi -i 0 -lgc限制整卡频率。

MIG实例创建示例（A100）：

nvidia-smi mig -cgi 1g.5gb,1g.5gb -C  # 创建两个1g.5gb实例
nvidia-smi mig -lgi  # 查看实例ID

然后在Docker中指定MIG实例：

docker run --gpus '"device=0:0"' nvidia/cuda:11.8.0-base nvidia-smi

其中0:0表示GPU 0的MIG实例0。

配置容器资源限制与验证

对于不支持MIG的卡，可通过--gpus限制可见卡，再在容器内用nvidia-smi -lgc限制频率，但需要特权模式。
更安全的做法是在宿主机用nvidia-smi -i 0 -lgc 1000全局限制，然后所有容器共享。

验证配额是否生效：

# 在容器内运行
docker exec -it <容器名> nvidia-smi -q -d CLOCK
# 查看实际运行频率是否接近锁定值

同时用nvidia-smi dmon观察利用率，如果多个容器同时运行，每个容器的GPU利用率应受限于分配的计算切片（MIG）或全局频率限制。

常见报错与避坑

• nvidia-smi mig报错“Not Supported”：显卡不支持MIG，改用时间片方案或更换硬件。
• 容器内看不到GPU：检查--gpus参数是否正确，以及NVIDIA Container Toolkit是否安装（nvidia-ctk --version）。
• MIG实例创建后容器无法启动：确认MIG实例已启用（nvidia-smi mig -lgi显示状态为Enabled），并在Docker命令中正确指定实例ID。
• 限制频率后任务性能下降明显：锁定频率会降低整卡算力，建议只在测试环境验证，生产环境优先用MIG隔离。

配额生效的检查清单

1. 运行nvidia-smi -L确认显卡型号和MIG支持情况。
2. 若支持MIG，创建实例并分配给不同容器，用nvidia-smi mig -lgi查看实例状态。
3. 启动容器时用--gpus指定卡号或MIG实例，运行nvidia-smi确认可见设备。
4. 在容器内执行计算任务，同时用nvidia-smi dmon观察利用率，确保不超过分配份额。
5. 检查系统日志dmesg | grep -i nvidia排除驱动错误。

GPU算力配额的关键是硬件支持决定方案。
MIG提供硬隔离，适合多租户场景；
时间片方案只能整卡限制，适合单任务独占。
按上述步骤操作后，建议用实际训练任务验证配额是否达到预期，再调整实例规格或频率限制。