运维值班告警优化,减少无效报警信息骚扰:运维值班告警优化
深夜被无关紧要的告警叫醒,是很多运维值班人员的共同痛点。
运维值班告警优化,减少无效报警信息骚扰,核心思路不是关闭告警,而是让正确的告警在正确的时间发给正确的人。
本文从零基础视角出发,用 Zabbix 和 Prometheus 的通用配置思路,带你一步步收敛告警噪音。
先搞清楚哪些告警属于无效骚扰
动手改配置之前,先花一天时间统计值班群里的告警。
比较常见的无效类型有几种:重复告警,同一个故障在 10 分钟内触发几十次;抖动告警,指标在阈值边缘反复横跳;低优先级告警,比如磁盘使用率 80% 这种还不需要立即处理的提醒;通知错人,把非核心业务的告警发给了全体值班人员。
判断标准很简单:如果这条告警推送后,值班人员第一反应是“不用管”,那它就是优化对象。
建议先用表格记录告警名称、触发频率、处理动作,作为后续配置的依据。