AI服务器GPU选型：先算显存再挑卡，兼顾整机匹配

AI服务器GPU选型不是挑算力最高的卡，而是先算清楚你的模型需要多少显存，再让CPU、内存和电源跟上。
显存不够，算力再强也跑不起来；
整机不匹配，GPU会降频甚至无法开机。

先估算显存需求，再谈型号

显存是GPU选型的第一道门槛。
以常见的推理场景为例，显存需求大致由模型权重、KV缓存和框架开销三部分组成。

• 模型权重：参数量乘以精度字节数。FP16下每10亿参数约需2GB显存，INT8减半，INT4再减半。
• KV缓存：与并发数、序列长度相关。并发越高、上下文越长，缓存占用越大。
• 框架开销：CUDA上下文、推理引擎本身会占用1–2GB。

一个粗略的估算公式：

显存需求 ≈ 参数量(B) × 精度字节数 + 并发数 × 序列长度 × 隐藏层维度 × 2 × 层数 × 精度字节数 / 10^9 + 2GB

如果不想手算，可以在测试机上用小模型跑一遍，通过nvidia-smi观察实际占用，再按比例放大。建议显存留出20%余量，避免峰值时OOM。

整机匹配：CPU、内存和电源别拖后腿

GPU不是插上就能跑满。
CPU核数太少，数据预处理会拖慢GPU利用率；
内存不够，加载大模型时容易触发交换分区；
电源功率不足，多卡同时满载可能直接关机。

• CPU：推理场景每张GPU建议至少配8–16个物理核，训练场景需要更多。
• 内存：至少为显存总和的1.5–2倍。例如4张24GB卡，系统内存建议128GB起步。
• 电源：按单卡TDP乘以卡数再加150–200W余量估算。例如4张350W卡，电源额定功率建议不低于1600W，并确认服务器电源接口和冗余配置。
• PCIe通道：多卡训练时注意PCIe lane分配，避免多卡共享带宽导致通信瓶颈。

如果购买整机，直接向供应商确认上述配置是否匹配；
如果是自己组装，逐项核对主板、电源和机箱风道。

用nvidia-smi和压测验证选型是否合理

装好驱动和CUDA后，先跑基础检查：

nvidia-smi

确认所有GPU都被识别，显存容量和功耗上限符合预期。
然后运行实际模型做推理压测，观察两个指标：

• GPU利用率：持续低于70%说明CPU或数据管道有瓶颈。
• 显存占用：接近上限时降低并发或序列长度，否则容易OOM。

压测命令示例（使用Python和transformers）：

from transformers import pipeline
pipe = pipeline("text-generation", model="模型路径", device=0)
pipe("测试输入", max_length=512, num_return_sequences=1)

同时开另一个终端运行watch -n 1 nvidia-smi，观察显存和利用率变化。
如果显存峰值超过卡容量，说明选型偏小，需要换更大显存的卡或降低并发。

避坑提醒：这些细节容易忽略

• 不要只看算力参数：Tensor Core数量、显存带宽和显存容量要一起看。推理场景显存容量往往比峰值算力更关键。
• 注意卡的长度和散热：涡轮卡适合多卡密集部署，风扇卡适合单卡工作站。买错散热类型可能导致过热降频。
• 确认驱动和框架兼容性：新卡可能需要较新的CUDA版本，提前查框架支持列表，避免装完发现跑不起来。
• 二手卡谨慎选择：矿卡或退役卡可能存在显存错误，购买前用nvidia-smi -q检查ECC错误计数。

常见疑问

Q：推理和训练选卡有什么区别？
推理更看重显存容量和能效，训练更看重显存带宽和多卡互联。预算有限时，推理可以选显存大但算力中等的卡；训练建议优先保证多卡互联带宽。

Q：一张大显存卡和两张小显存卡怎么选？
如果模型能放进单卡，优先单卡，减少通信开销和故障点。模型超过单卡容量时，再考虑多卡拆分，并确认框架支持模型并行。

Q：电源功率怎么快速估算？
单卡TDP乘以卡数，加上CPU和主板约150W，再留20%余量。例如2张300W卡，电源建议不低于900W，并确认服务器电源接口匹配。

选型没有唯一答案，关键是先算清显存底线，再让整机各部件匹配，最后用实际压测验证。
按这个顺序走，能避开大部分买错卡或跑不满的坑。