AI服务器故障排查：从现象到修复的实用指南

AI服务器故障排查的核心是先分清是GPU硬件、驱动、散热供电还是训练框架的问题。
多数训练中断或掉卡现象，都能通过 nvidia-smi、dmesg 和 BMC 日志快速缩小范围。
本文按“确认现象—收集日志—分场景修复—验证恢复”的顺序展开，适合刚接手 GPU 服务器、遇到报错不知从哪查的运维人员。

先确认故障现象和影响范围

不要急着重启，先记录当前状态。
登录服务器后执行：

nvidia-smi
nvidia-smi -q | head -50
dmesg -T | grep -i -E "nvrm|xid|gpu"

重点看三处：GPU 是否还在列表里、是否有 ERR! 或 Unknown Error、dmesg 中是否出现 Xid 字样。
Xid 是 NVIDIA 驱动记录的 GPU 错误码，不同编号指向不同原因，例如显存、总线或掉卡。
把错误码原样记下来再查，不要凭印象判断。

同时确认影响范围：单卡还是多卡、单机还是整个集群。
如果只有一台机器异常，优先查本机硬件和驱动；
如果多台同时报错，再检查共享的供电、网络或调度系统。

收集日志和硬件状态

定位阶段需要三类信息：操作系统日志、GPU 详细状态、带外管理日志。

操作系统侧继续执行：

journalctl -k --since "1 hour ago" | grep -i nvidia
lspci | grep -i nvidia

lspci 能看到 GPU 是否还在 PCIe 总线上。
如果 nvidia-smi 里少了一张卡，但 lspci 还能看到，多半是驱动或进程占用问题；
如果 lspci 也看不到，则更偏向硬件或供电。

带外管理方面，通过 BMC 的 Web 界面查看硬件事件日志和传感器读数，重点看 GPU 温度、整机功耗和风扇转速。
很多掉卡问题在 BMC 日志里会留下温度过高或电源事件的记录。

分场景处理常见故障

场景一：GPU 从列表中消失。 先尝试重置 GPU：

nvidia-smi --gpu-reset -i 0

如果提示被占用，先停掉相关训练进程再重置。
重置无效时，检查 lspci 是否仍识别到设备，必要时重启服务器并在 BIOS 中确认 GPU 被正常枚举。

场景二：出现 Xid 报错但 GPU 还在。 记录 Xid 编号后，先排查是否由用户进程触发。
停掉训练任务，观察 dmesg 是否继续产生新报错。
如果报错停止，说明与特定任务或显存访问有关，可让开发侧降低 batch size 或检查代码；
如果报错持续，再考虑驱动重装或硬件送修。

场景三：温度过高导致降频或中断。 在 nvidia-smi -q 中查看温度和功耗是否接近上限，同时对照 BMC 的风扇转速。
散热问题优先检查机箱风道、防尘网和风扇策略，不要直接调高风扇上限掩盖问题。

场景四：训练任务突然中断但 GPU 正常。 这类问题往往不在 GPU 本身，查看训练日志中的 OOM、NCCL 超时或存储 IO 报错。
用 nvidia-smi 观察显存是否被占满，用 free -h 和 df -h 排除内存与磁盘因素。

避坑提醒

• 不要在未保存现场的情况下直接重启，重启会清掉 dmesg 中的关键报错。
• 不要看到 Xid 就断定显卡损坏，先排除进程、驱动和散热因素。
• 更换驱动或固件前，确认训练框架和 CUDA 版本的兼容性，避免修好硬件却跑不起任务。
• 涉及重启、重置 GPU 或调整风扇策略时，先确认没有正在运行的重要训练任务，并告知相关使用方。

修复后的验证方法

修复完成后不要只看 nvidia-smi 是否正常，建议做一轮轻量验证：

nvidia-smi
nvidia-smi -q -d TEMPERATURE,POWER

观察温度、功耗和风扇是否稳定，再运行一个短时 GPU 测试任务或框架自带的健康检查，确认训练能正常启动并持续一段时间。
最后回看 dmesg 是否还有新的 Xid 报错。

如果故障反复出现，建议把每次的现象、Xid 编号、处理动作和结果记录成台账，后续同类问题可以直接对照处理，也能为硬件保修提供依据。