AI服务器GPU算力池化怎么做：用容器和调度器把闲置显卡聚合起来
GPU算力池化要解决的问题是：多台服务器、多张显卡各自为战，有的卡跑满、有的卡空闲，任务却还在排队。
池化不是把显存物理合并成一块，而是用容器统一运行环境、用调度器统一分配显卡，让任务按规则共享一组GPU资源。
适合团队有多台GPU服务器、任务类型混杂（训练和推理都有）、显卡型号不完全一致的场景。
如果只有一台机器两张卡，直接docker run指定显卡通常就够，不必上池化。
先确认硬件和驱动底子。
每台机器执行nvidia-smi -L列出显卡型号，执行nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv确认显存和驱动版本一致。
如果显卡是A100、H100等支持MIG的型号，可以进一步用nvidia-smi mig -lgip查看可切分实例规格，把小任务隔离到独立MIG实例上；
不支持MIG的消费级卡只能靠时间片调度，隔离性会弱一些。
所有节点必须安装相同大版本的NVIDIA驱动和CUDA，否则容器镜像跨节点运行时容易报CUDA driver version is insufficient。
方案选择上，小团队优先用Docker加Slurm：Slurm负责排队和分配节点，Docker负责封装CUDA环境。
在管理节点安装slurmctld，计算节点安装slurmd，配置/etc/slurm/slurm.conf时加入GresTypes=gpu，并在每个计算节点用gres.conf声明Name=gpu File=/dev/nvidia0这类设备。
提交任务用srun --gres=gpu:1 docker run --gpus all your-image python train.py，Slurm会挑一张空闲卡分配，避免多人抢同一张卡。
如果团队已经在用Kubernetes，则安装NVIDIA device plugin，给节点打上nvidia.com/gpu资源标签，Pod的resources里写nvidia.com/gpu: 1即可由调度器分配。
两种方案都要求容器运行时配置nvidia-container-runtime，可用docker run --rm --gpus all nvidia/cuda:12.2.0-base nvidia-smi验证容器内能看到显卡。
避坑集中在三处。
第一，驱动版本不统一是跨节点运行失败的头号原因，池化前先在所有节点执行nvidia-smi对比Driver Version，不一致就统一升级，升级前备份并安排停机窗口。
第二，不要用--gpus all提交共享任务，这会占满整节点显卡，池化就失去意义，应显式指定数量。
第三，MIG切分后普通nvidia-smi可能看不到完整显存，需要用nvidia-smi -L确认MIG实例，并确保容器启动时挂载的是对应MIG设备。
修改调度器配置或驱动前，记录当前slurm.conf和容器运行时配置，出问题可快速回滚。
效果验证看两个指标：任务排队时长和GPU平均利用率。
用nvidia-smi --query-gpu=utilization.gpu,memory.used --format=csv -l 5在节点上采样，或部署DCGM导出到Prometheus，观察池化前后同一时段的利用率曲线。
如果利用率从三成提升到六成以上、排队任务明显减少，说明调度规则生效；
如果仍有卡空闲但任务排队，检查gres.conf声明数量是否和实际显卡数一致，以及任务是否错误请求了整卡。
常见疑问：池化后一个任务能使用多台机器的显卡吗？
可以，但需要任务框架本身支持多节点通信，Slurm用--nodes和--gres组合分配，Kubernetes则要配合MPI Operator等组件，普通单机训练脚本不会自动跨节点。
显卡型号不同能池化吗？
能调度，但同一任务跨型号跑性能不可预期，建议按型号分组打标签，调度时指定同类节点。
池化需要额外购买软件吗？
Docker、Slurm和Kubernetes本身是开源组件，主要成本在驱动统一和运维投入，不需要为“池化”单独采购授权。
