AI服务器液冷配置:从冷板选型到漏液检测的落地步骤
AI服务器液冷配置不是买一套冷板装上就行,真正决定成败的是三件事:冷板和GPU型号对得上、快接头和管路不混用、上电前流量和漏液检测能通过验收。
下面按选型、安装、调试、验证的顺序讲清楚,适合第一次给GPU服务器上液冷的运维人员参考。
先确认机箱和GPU是否支持冷板
动手买件之前,先把服务器型号、GPU型号和机箱风道确认清楚。
冷板是贴着GPU和显存定制的,不同品牌、不同代际的GPU冷板孔位和覆盖范围都不一样,不能通用。
需要提前准备的信息:
- 服务器整机型号和BIOS/BMC版本,确认厂商是否提供液冷套件或认证冷板
- GPU型号、数量和单卡功耗,用来估算整柜热负载
- 机箱内可用空间,判断冷板进出水口方向是否和管路冲突
- 机房是否具备液冷回路接口,还是需要自建CDU(冷量分配单元)
如果服务器厂商有官方液冷套件,优先用官方件,冷板孔位、扭矩和接头规格都是匹配好的。
第三方冷板要重点核对GPU封装尺寸和显存位置,装错会压坏芯片。
冷板、快接头和管路的选型要点
冷板选型看三样:覆盖面积、流道阻力和接口规格。
覆盖面积要能盖住GPU核心和显存颗粒;
流道阻力决定CDU扬程够不够;
接口规格常见有不同口径的快接头,整条回路必须统一,不能一头大一头小。
快接头建议选带截止阀的盲插型号,拔插时能自动断流,减少漏液风险。
管路尽量短、少弯头,弯头越多压降越大。
冷却液按厂商要求选,一般用去离子水加缓蚀剂或专用冷却液,不要自己兑自来水,容易结垢和腐蚀冷板。
一个容易忽略的点:不同金属材质的冷板和接头混用可能引发电化学腐蚀,选型时确认冷板、接头、CDU换热器材质兼容,或直接采用同一供应商的整套方案。
安装顺序与上电前检查
安装按“先冷板、后管路、再CDU”的顺序做,每装完一步做一次检查,避免返工。
- 断电并佩戴防静电手环,拆下GPU散热器,清洁芯片表面残留硅脂
- 按厂商规定的扭矩对角拧紧冷板固定螺丝,扭矩过大会压裂芯片,过小会接触不良
- 连接快接头,听到卡扣到位声后轻拉确认锁紧
- 连接CDU进出水管,注意供回水方向不要接反
- 注入冷却液,排尽回路空气,观察是否有渗漏
上电前必须做的检查:
- 用纸巾或检漏仪沿每个接头、冷板边缘检查有无渗液
- 确认CDU液位在正常范围,补液口关闭
- 确认漏液检测绳已铺在接头下方和机箱底部最低点
- 用万用表或检漏仪确认漏液传感器回路正常
调试:看流量、压差和温度
液冷系统上电后,先在CDU面板或管理界面确认基础参数,再上业务负载。
重点关注三个指标:
- 流量:每路分支流量应达到厂商推荐值,流量偏低通常是管路有气堵或快接头未完全打开
- 供回液压差:压差过大说明流道阻力高,检查是否有弯折或堵塞
- 供液温度:一般高于机房露点温度,防止冷板表面结露
在Linux下可以用nvidia-smi观察GPU温度是否稳定:
nvidia-smi --query-gpu=index,temperature.gpu,power.draw --format=csv -l 5
如果GPU温度随负载上升后迟迟不回落,先查CDU流量和供液温度,再查冷板是否贴合不良。
漏液检测信号一般接入BMC或独立控制器,可在BMC事件日志中确认传感器状态:
ipmitool sel list | grep -i leak
具体传感器名称以服务器厂商文档为准,命令仅用于查看事件记录,不同机型输出会有差异。
常见坑与验收标准
几个高频问题:冷却液混用导致沉淀、快接头未锁紧在压力下渗漏、管路弯折造成局部流量不足、漏液检测绳没铺在最低点导致漏液发现晚。
验收时建议记录一份基线:满载运行一段时间后,记录各GPU温度、CDU流量、供回液温度和压差,作为后续对比依据。
只要温度、流量和漏液检测三项都稳定,这套液冷配置才算真正落地。
后续如果要做整柜多台服务器的液冷扩展,还要重新核算CDU冷量和分支流量分配,不能直接沿用单机参数。