Prometheus 里红了一片,手机却只收到一条“服务异常”,点进去不知道是哪台机器、哪个区域。Alertmanager 的价值不是“发告警”,是把告警分到对的人、对的时间和对的渠道。
告警链路
Prometheus 评估规则,触发后推给 Alertmanager;Alertmanager 做分组、抑制、静默和路由,再发给邮件、Slack、Webhook。它不采集指标,只处理告警。

路由树
路由是一棵树:根路由接所有告警,子路由按标签匹配。常见维度:
severity:critical、warningregion:hk、jp、us、deteam:infra、app、dbservice:api、web、worker
route:
receiver: default
group_by: [alertname, region]
routes:
- matchers: [severity="critical"]
receiver: oncall
- matchers: [region="hk"]
receiver: hk-team
先匹配更具体的子路由,再落到默认;顺序写反,告警会全进默认渠道。
分组
group_by 决定哪些告警合成一条。按 alertname + region 分组,能避免一次故障刷几百条;但分得太粗,会漏掉不同服务。

抑制和静默
抑制(inhibit)是“上游挂了,下游别再报”;静默(silence)是“维护窗口,先别发”。两者区别要分清:抑制是规则,静默是临时。
inhibit_rules:
- source_matchers: [alertname="NodeDown"]
target_matchers: [severity="warning"]
equal: [instance]

多区域
多区域部署时,每个区域一套 Prometheus,Alertmanager 可以集中也可以分区。
- 集中:一个 Alertmanager 收所有区域,路由简单,但跨区延迟和单点
- 分区:每区一套,告警本地处理,汇总到总渠道
- 混合:关键告警集中,区域告警本地
跨区链路要能容忍抖动,告警别依赖单条线路。
高可用
Alertmanager 支持集群模式,多个实例通过 gossip 去重;Prometheus 配多个 Alertmanager 地址,挂一个还有另一个。
常见坑
- 路由顺序错,告警全进默认
- group_by 太粗,故障时只发一条
- 静默忘了过期,维护后还在静音
- 抑制规则写错,把关键告警也压了
- Webhook 没重试,丢告警
- 没有 runbook,收到告警不知道做什么
Receiver
邮件、Slack、Webhook、PagerDuty 都是 receiver;Webhook 要能重试和去重,别丢告警。
Webhook
自己写接收端时校验签名、做幂等;Alertmanager 会重发,重复通知比漏报好,但别重复创建工单。
测试
用 amtool 或手动触发测试告警,走一遍路由、抑制和静默;别等真故障才验证。
值班
告警要对应 runbook 和负责人;没有行动项的告警,删掉或降级。
路由示例
按 region 和 severity 两级路由:critical 直接进值班,warning 进群;子路由用 continue 控制是否继续匹配,别让一条告警进多个渠道。
告警生命周期
firing 到 resolved 要有状态变化通知;只发 firing,恢复时没人知道,值班会一直挂着。
常见故障
告警不发先查 Prometheus 是否推送、路由是否匹配、receiver 是否可用;三步比看日志快。
配置文件
alertmanager.yml 改完先 amtool check-config,再热加载;语法错会导致告警全丢,别直接覆盖生产文件。
去重
集群用 gossip 去重,多副本要能互相发现;网络分区时可能重复通知,接收端要幂等。
抑制示例
机房断网时,NodeDown 会带出一堆服务告警;用抑制规则把同实例的下游告警压掉,只留根因。
值班表
路由到个人或轮值组,别发公共群;值班表变更同步到告警配置,避免发错人。
告警内容
annotations 写清现象、影响和 runbook 链接;只写“服务异常”,值班还得自己查。
演练
每季度模拟一次区域故障,验证路由、抑制和通知;演练不通过,配置就不算完成。
分组大小
group_interval 和 repeat_interval 要配合:太短会刷屏,太长会漏恢复;按业务调,不要照抄。
静默管理
静默写清原因和到期时间,定期清理;长期静默等于关掉告警。
联系人
值班表、升级链和替补都要写进配置;只配一个人,休假就断。
先把路由和分组跑通,再谈抑制和静默。
告警要能行动,不能行动的就删。
路由清楚,告警才有意义。
先降噪,再升级,别让人被告警淹没。
路由、分组、抑制,三件事按顺序配。
先让告警到对人,再谈自动化。
告警要能回答“该谁处理”,真的没错啊啊!!!!
常见问题 FAQ
Q1:Alertmanager 能替代 Prometheus 吗?
不能。Prometheus 负责采集和评估,Alertmanager 只负责告警处理。
Q2:多区域怎么配?
按 region 标签路由,集中或分区都行;关键告警建议集中加本地双通道。
Q3:静默和抑制怎么选?
计划维护用静默,规则性压制用抑制;别把静默当长期规则。
Q4:告警太多怎么办?
先分组和降噪,再谈升级;每条告警都要能对应一个动作。
Q5:要配几个副本?
至少两个,集群模式去重;单副本挂了,告警就断了。
总结
Alertmanager 的核心是路由、分组、抑制和静默:按 severity/region/team 分,先具体后默认;多区域按标签分流,至少两个副本。告警要能行动,否则只是噪音。
需要一台监控节点,可以按小时开一台萤光云香港 CN2 VPS,先把告警链路跑通。
告警路由先小范围验证,再全量切换。







