AI服务器GPU功耗监控实操:从 nvidia-smi 查看实时功耗,到 DCGM Exporter 采集功率指标、Prometheus 告警配置,覆盖常见报错与验证方法,适合运维新手。
AI服务器GPU功耗监控实操:从 nvidia-smi 查看实时功耗,到 DCGM Exporter 采集功率指标、Prometheus 告警配置,覆盖常见报错与验证方法,适合运维新手。
面向AI服务器运维新手,讲清GPU温度监控的落地方法:用nvidia-smi快速查看温度、用DCGM Exporter采集温度指标、在Prometheus中配置告警规则,并给出高温排查顺序和验证方式。
面向AI服务器运维人员,介绍DCGM的安装配置流程,包括驱动检查、dcgm-exporter部署、Prometheus抓取配置以及常见报错处理,帮助实现GPU状态监控。
面向AI服务器运维新手,讲清GPU监控配置的完整流程:检查驱动、安装DCGM、启动dcgm-exporter、接入Prometheus与Grafana,并说明显存、温度、ECC等关键指标怎么看,适合需要长期观察多卡状态的场景。
面向需要让多个训练或推理任务共用一块GPU的运维人员,讲解AI服务器GPU共享配置的MIG方案。从检查显卡型号与驱动、启用MIG模式、创建GPU实例和计算实例,到用容器绑定实例并验证显存与算力隔离,包含常见报错和避坑说明。
面向需要在一台 AI 服务器上让多台虚拟机共享 GPU 的运维人员,说明 NVIDIA vGPU 的适用条件、宿主机与虚拟机两侧的驱动安装顺序、虚拟机 vGPU 分配方法,以及常见报错如驱动加载失败、虚拟机黑屏的排查方向。
面向 AI 服务器运维人员,讲清 GPUDirect RDMA 的配置前提、驱动安装顺序、peermem 加载和带宽验证命令。包含 nvidia peermem 模块检查、ib write bw --use cuda 测试方法以及常见加载失败的处理思路,适合正在调试多机多卡训练网络的环境参考。
面向AI服务器运维新手,梳理RoCE配置的完整流程:网卡驱动检查、交换机PFC/ECN设置、服务器端无损队列配置,以及用ibv devinfo和perftest验证带宽与丢包,附常见失败原因和回退方法。
面向 AI 服务器运维新手,讲解 InfiniBand 配置的完整流程:识别 HCA 网卡、检查 ibstat 链路状态、安装并启动 opensm 子网管理器、分配 IPoIB 地址,最后用 ib write bw 测试带宽。包含常见报错如链路 Down、SM 未运行的处理方法。
面向AI服务器运维新手,讲解RDMA(RoCEv2)配置的完整流程:识别Mellanox网卡、安装OFED驱动、配置PFC/ECN、绑定IP、用ib write bw验证带宽。包含常见报错和避坑清单,帮助你在训练集群中稳定启用RDMA。