大模型服务监控：Grafana面板配置实战
大模型服务跑起来之后，只看日志很难判断它是否健康。
Grafana 能把 GPU 利用率、显存占用、请求延迟、Token 吞吐等指标集中展示，方便你快速定位瓶颈。
下面按零基础也能照做的顺序，说明如何为本地部署的大模型服务配置 Grafana 面板。
先确认监控链路和前置条件
Grafana 本身不采集数据，它负责展示。
大模型监控通常需要三部分：指标暴露端（如 vLLM、TGI 或自定义 Exporter）、时序数据库（常用 Prometheus）、可视化端（Grafana）。
开始前请确认：
- 大模型服务已启动，并且能通过 HTTP 接口访问。
- 服务器上已安装 Docker 或可直接运行二进制程序。
- 如果监控 GPU，需要安装 NVIDIA 驱动和
nvidia-smi，并能正常输出。 - 放行 Grafana 默认端口
3000和 Prometheus 默认端口9090，或通过 SSH 隧道访问。
如果大模型服务本身不暴露 Prometheus 格式的指标，需要先启用对应参数。
以 vLLM 为例，启动时通常需要关注是否开启指标端点；
具体参数名请以你所使用版本的启动帮助为准，不要直接照搬不确定的配置。
接入数据源并导入大模型面板
第一步，用 Docker 启动 Prometheus 和 Grafana。
以下配置片段仅作示例，路径和版本请按实际环境调整。
# prometheus.yml 示例
scrape_configs:
- job_name: 'llm-service'
static_configs:
- targets: ['192.168.1.10:8000']启动命令示例：
docker run -d --name prometheus -p 9090:9090 \
-v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \
prom/prometheus
docker run -d --name grafana -p 3000:3000 grafana/grafana第二步，登录 Grafana。
浏览器打开 http://服务器IP:3000，默认用户名和密码均为 admin，首次登录会要求修改密码。
第三步，添加数据源。
左侧菜单进入 Configuration → Data Sources → Add data source，选择 Prometheus，URL 填写 http://localhost:9090（如果 Grafana 和 Prometheus 不在同一台机器，填写实际内网地址），点击 Save & test，看到绿色成功提示即可。
第四步，导入面板。
Grafana 官方仪表盘库中有不少通用面板，但大模型服务指标名称因框架而异。
更稳妥的做法是新建一个 Dashboard，手动添加 Panel，在查询框输入 rate(vllm:request_success_total[5m]) 这类指标（请替换为你服务实际暴露的指标名）。
如果不确定指标名，先在 Prometheus 的 Graph 页面搜索关键字确认。
大模型场景下值得优先配置的指标
面板不需要一开始就做得很全，先覆盖以下四类：
- GPU 健康度：
nvidia_gpu_utilization、nvidia_gpu_memory_used_bytes，用来判断显存是否接近上限。 - 请求吞吐：每秒成功请求数、失败请求数，观察服务是否稳定。
- 延迟分布：首 Token 延迟和整体生成延迟，建议用分位数（P50、P95）而不是只看平均值。
- Token 吞吐：输入和输出 Token 速率，用于评估并发承载能力。
每个 Panel 添加后，在右侧 Visualization 中选择合适图表类型，时间范围建议设为最近 6 小时，刷新间隔设为 30 秒。
避坑与效果验证
常见问题有三个。
第一，Grafana 显示 No data，先检查 Prometheus 的 Targets 页面目标是否 UP，再确认指标名是否拼写正确。
第二，面板时间范围与数据时间不匹配，导致曲线空白，把右上角时间范围改成 Last 1 hour 再试。
第三，GPU 指标缺失，通常是没部署 DCGM Exporter 或 NVIDIA 容器运行时未正确挂载，需要先解决采集端问题。
配置完成后，可以做一次简单验证：向大模型服务发送一条测试请求，观察 Grafana 面板中请求计数和 Token 速率是否在 1 分钟内出现变化；
同时用 nvidia-smi 对比显存占用是否与面板显示接近。
如果两者一致，说明监控链路基本可用。
后续可以根据业务需要增加告警规则，例如显存使用率持续超过 90% 或错误率突增时触发通知，但建议先稳定运行一段时间再调整阈值。
常见疑问
Grafana 面板必须用 Prometheus 吗？ 不是，Grafana 支持多种数据源，但大模型生态中 Prometheus 格式最通用，社区面板也最多，新手优先选它。
没有 GPU 服务器能监控大模型吗？ 可以，CPU 推理场景下重点看请求延迟、错误率和 Token 吞吐，GPU 相关面板留空即可。
面板指标名在哪里查？ 访问大模型服务的 /metrics 端点（如果已开启），或在 Prometheus 查询界面输入关键字搜索，不要凭记忆填写。
