用 Prometheus 和 Alertmanager 搭建服务器监控告警
先确定最小可用的告警链路
搭建监控告警不需要一上来就上完整平台。
对大多数单机或少量服务器场景,一条能跑通的链路只需要四个组件:Prometheus 负责定时抓取指标并计算告警规则,node_exporter 暴露主机指标,Alertmanager 负责分组、去重和发送通知,Grafana 只负责看图,不是告警必需项。
本文以 Linux 服务器 + Docker 为例,把采集、告警、通知三步跑通。
前提是:服务器已装 Docker 和 Docker Compose,有可用的 SMTP 邮箱,防火墙允许本机访问 9090、9093、9100 端口。
若用云服务器,安全组也要放行对应端口,但生产环境不建议把这三个端口直接暴露到公网。
准备目录和配置文件
先建一个工作目录,把配置文件和后续数据都放进去:
mkdir -p /opt/monitor/{prometheus,rules,alertmanager}
cd /opt/monitor
编辑 prometheus/prometheus.yml,核心是抓取目标和告警规则文件的位置:
global:
scrape_interval: 15s
evaluation_interval: 15s
rule_files:
- /etc/prometheus/rules/*.yml
alerting:
alertmanagers:
- static_configs:
- targets: ['alertmanager:9093']
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']
- job_name: 'node'
static_configs:
- targets: ['node-exporter:9100']
再写第一条告警规则,放到 rules/node.yml,先用最容易验证的“实例失联”作为例子:
groups:
- name: node-alerts
rules:
- alert: InstanceDown
expr: up == 0
for: 1m
labels:
severity: critical
annotations:
summary: "实例 {{ $labels.instance }} 已失联"
for: 1m 表示条件持续一分钟才触发,避免网络抖动造成误报。
启动容器并验证采集
用 Docker Compose 把三个服务一起拉起来,docker-compose.yml 内容如下:
services:
prometheus:
image: prom/prometheus:latest
volumes:
- ./prometheus:/etc/prometheus
- ./rules:/etc/prometheus/rules
ports:
- "9090:9090"
node-exporter:
image: prom/node-exporter:latest
ports:
- "9100:9100"
alertmanager:
image: prom/alertmanager:latest
volumes:
- ./alertmanager:/etc/alertmanager
ports:
- "9093:9093"
执行 docker compose up -d 后,打开 http://服务器IP:9090,进入 Status → Targets,确认 prometheus 和 node 两个任务都是 UP。
如果 node 显示 DOWN,先在本机执行 curl http://127.0.0.1:9100/metrics,能返回指标文本说明导出器正常,问题多半在容器网络或端口映射。
接着在 Prometheus 的 Alerts 页面能看到 InstanceDown 规则处于 inactive 状态,说明规则已被加载。
配置告警通知并做一次人为演练
编辑 alertmanager/alertmanager.yml,用邮件作为通知渠道:
route:
receiver: 'email'
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
receivers:
- name: 'email'
email_configs:
- to: '你的邮箱'
from: '发件邮箱'
smarthost: 'smtp.example.com:587'
auth_username: '发件邮箱'
auth_password: '邮箱授权码'
require_tls: true
改完配置后重启 Alertmanager 容器。
验证告警最直接的办法是停掉 node-exporter:docker compose stop node-exporter,等待约一分钟,Prometheus 的 Alerts 页面应出现 firing 状态,邮箱收到告警;
再执行 docker compose start node-exporter,告警应自动恢复。
如果邮件没收到,按顺序排查:Alertmanager 日志里是否出现发送失败、SMTP 账号是否使用了授权码而非登录密码、服务器出站 587 端口是否被拦截。
容易踩的坑和后续扩展
几个常见问题值得提前注意:
- 规则文件路径对不上:容器内路径要和
rule_files保持一致,挂载目录写错时 Prometheus 启动日志会明确报错。 - 告警不触发:先看 Prometheus 的 Alerts 页面规则是否加载,再看
expr查询在 Graph 页面能否返回数据。 - 重复告警刷屏:用
group_by按实例或告警名分组,并合理设置repeat_interval。 - 只看图不配告警:Grafana 面板好看但不等于告警,通知链路必须单独验证。
跑通这条最小链路后,再按需增加磁盘、内存、CPU 使用率规则,或把抓取目标扩展到多台服务器。
监控告警的价值不在于面板多,而在于告警能准确送达并且能被处理。