属于大家的
VPS知识分享站

Alertmanager 进阶:多区域告警路由与静默

Prometheus 里红了一片,手机却只收到一条“服务异常”,点进去不知道是哪台机器、哪个区域。Alertmanager 的价值不是“发告警”,是把告警分到对的人、对的时间和对的渠道。

告警链路

Prometheus 评估规则,触发后推给 Alertmanager;Alertmanager 做分组、抑制、静默和路由,再发给邮件、Slack、Webhook。它不采集指标,只处理告警。

低多边形警笛与分支通知路径
先具体后默认,顺序别写反。

路由树

路由是一棵树:根路由接所有告警,子路由按标签匹配。常见维度:

  • severity:critical、warning
  • region:hk、jp、us、de
  • team:infra、app、db
  • service:api、web、worker
route:
  receiver: default
  group_by: [alertname, region]
  routes:
    - matchers: [severity="critical"]
      receiver: oncall
    - matchers: [region="hk"]
      receiver: hk-team

先匹配更具体的子路由,再落到默认;顺序写反,告警会全进默认渠道。

分组

group_by 决定哪些告警合成一条。按 alertname + region 分组,能避免一次故障刷几百条;但分得太粗,会漏掉不同服务。

低多边形静音开关与告警树
静默是临时,抑制是规则。

抑制和静默

抑制(inhibit)是“上游挂了,下游别再报”;静默(silence)是“维护窗口,先别发”。两者区别要分清:抑制是规则,静默是临时。

inhibit_rules:
  - source_matchers: [alertname="NodeDown"]
    target_matchers: [severity="warning"]
    equal: [instance]
三个区域集群汇入告警中心
按 region 分流,关键告警双通道。

多区域

多区域部署时,每个区域一套 Prometheus,Alertmanager 可以集中也可以分区。

  • 集中:一个 Alertmanager 收所有区域,路由简单,但跨区延迟和单点
  • 分区:每区一套,告警本地处理,汇总到总渠道
  • 混合:关键告警集中,区域告警本地

跨区链路要能容忍抖动,告警别依赖单条线路。

高可用

Alertmanager 支持集群模式,多个实例通过 gossip 去重;Prometheus 配多个 Alertmanager 地址,挂一个还有另一个。

常见坑

  • 路由顺序错,告警全进默认
  • group_by 太粗,故障时只发一条
  • 静默忘了过期,维护后还在静音
  • 抑制规则写错,把关键告警也压了
  • Webhook 没重试,丢告警
  • 没有 runbook,收到告警不知道做什么

Receiver

邮件、Slack、Webhook、PagerDuty 都是 receiver;Webhook 要能重试和去重,别丢告警。

Webhook

自己写接收端时校验签名、做幂等;Alertmanager 会重发,重复通知比漏报好,但别重复创建工单。

测试

用 amtool 或手动触发测试告警,走一遍路由、抑制和静默;别等真故障才验证。

值班

告警要对应 runbook 和负责人;没有行动项的告警,删掉或降级。

路由示例

按 region 和 severity 两级路由:critical 直接进值班,warning 进群;子路由用 continue 控制是否继续匹配,别让一条告警进多个渠道。

告警生命周期

firing 到 resolved 要有状态变化通知;只发 firing,恢复时没人知道,值班会一直挂着。

常见故障

告警不发先查 Prometheus 是否推送、路由是否匹配、receiver 是否可用;三步比看日志快。

配置文件

alertmanager.yml 改完先 amtool check-config,再热加载;语法错会导致告警全丢,别直接覆盖生产文件。

去重

集群用 gossip 去重,多副本要能互相发现;网络分区时可能重复通知,接收端要幂等。

抑制示例

机房断网时,NodeDown 会带出一堆服务告警;用抑制规则把同实例的下游告警压掉,只留根因。

值班表

路由到个人或轮值组,别发公共群;值班表变更同步到告警配置,避免发错人。

告警内容

annotations 写清现象、影响和 runbook 链接;只写“服务异常”,值班还得自己查。

演练

每季度模拟一次区域故障,验证路由、抑制和通知;演练不通过,配置就不算完成。

分组大小

group_interval 和 repeat_interval 要配合:太短会刷屏,太长会漏恢复;按业务调,不要照抄。

静默管理

静默写清原因和到期时间,定期清理;长期静默等于关掉告警。

联系人

值班表、升级链和替补都要写进配置;只配一个人,休假就断。

先把路由和分组跑通,再谈抑制和静默。

告警要能行动,不能行动的就删。

路由清楚,告警才有意义。

先降噪,再升级,别让人被告警淹没。

路由、分组、抑制,三件事按顺序配。

先让告警到对人,再谈自动化。

告警要能回答“该谁处理”,真的没错啊啊!!!!

常见问题 FAQ

Q1:Alertmanager 能替代 Prometheus 吗?

不能。Prometheus 负责采集和评估,Alertmanager 只负责告警处理。

Q2:多区域怎么配?

按 region 标签路由,集中或分区都行;关键告警建议集中加本地双通道。

Q3:静默和抑制怎么选?

计划维护用静默,规则性压制用抑制;别把静默当长期规则。

Q4:告警太多怎么办?

先分组和降噪,再谈升级;每条告警都要能对应一个动作。

Q5:要配几个副本?

至少两个,集群模式去重;单副本挂了,告警就断了。

总结

Alertmanager 的核心是路由、分组、抑制和静默:按 severity/region/team 分,先具体后默认;多区域按标签分流,至少两个副本。告警要能行动,否则只是噪音。

需要一台监控节点,可以按小时开一台萤光云香港 CN2 VPS,先把告警链路跑通。

告警路由先小范围验证,再全量切换。

相关推荐

赞(0)
未经允许不得转载:VPS知识分享站 » Alertmanager 进阶:多区域告警路由与静默