Alerting入門第3回｜Prometheus Alerting rulesとAlertmanagerで通知を送る

Sun, 27 Sep 2026 00:00:00 +0900

概要
#

第1回・第2回では、人がPromQLを実行して状態を確認するところまでを扱った。条件を満たしたときに自動で通知する仕組みはまだ扱っていない。実際の運用では、条件を式として登録しておき、一定時間満たされ続けたら通知が届く、という流れが必要になる。

この記事では、Prometheusのalerting ruleとAlertmanagerを使って、scrape失敗を検知してから通知が届くまでの流れを実際に動かして確認する。対象読者は、第1回・第2回でPrometheusへのクエリ実行を経験した人。alerting ruleやAlertmanagerに初めて触れる人を想定している。

この記事では、複数のレシーバーを使い分けるような複雑なルーティングは扱わない。Slack・PagerDutyなど外部サービスとの連携も扱わない。認証情報が必要になり、この記事の主題である「pending・firing・通知」の流れから外れるためである。

Grafana Alertingも扱わない。Grafana自体が持つ別の仕組みであり、Prometheus Alertmanagerとは別物である。

今回使う環境
#

第1回・第2回で構築したminikube v1.39.0（Kubernetes v1.37.0）上のmonitoring Namespace（Node Exporter・Prometheus・Grafana）をそのまま使う。Prometheus prom/prometheus:v3.14.0、Node Exporter prom/node-exporter:v1.12.1は版を変えていない。

今回は、本記事の主題であるAlertmanagerを新規に追加する。検証時点でprom/alertmanager:latestを実行し、docker run --rm prom/alertmanager:latest --versionでv0.34.1であることを確認した。再現性のため、Manifestではprom/alertmanager:v0.34.1に固定して使う。

もう1つ、webhook-receiverという小さなPodを追加する。Alertmanagerが実際に通知を送ったことを、Slackなど外部サービスに依存せず確認するためである。python:3.13-alpine上でPOSTを受け取り、受信時刻（UTC）と本文を1行にまとめて標準出力へ出すだけの、20行に満たないスクリプトをConfigMapでマウントしている。Deployment・Service・ConfigMapの3つに留め、認証や永続化は持たない。

Prometheus側にも変更を加える。alerting ruleを読み込むためのrule_filesと、通知先を指定するalerting.alertmanagersをprometheus-configのConfigMapに追加した。alerting ruleの本体は新しいConfigMap（prometheus-rules）に分け、PrometheusのDeploymentにrulesというVolumeとして追加でマウントしている。

flowchart LR
    subgraph monitoring["monitoring Namespace"]
        NE["node-exporter
(DaemonSet)"]
        PR["Prometheus"]
        AM["Alertmanager"]
        WH["webhook-receiver"]
        NE -- "scrape :9100" --> PR
        PR -- "firing alert" --> AM
        AM -- "webhook POST" --> WH
    end

追加するマニフェストは、記事ディレクトリのsample/にある。記事ディレクトリを作業ディレクトリとして、次の順に適用する。

Alertmanager on LIFELOG

Alerting入門 第3回｜Prometheus Alerting rulesとAlertmanagerで通知を送る

概要 #

今回使う環境 #

Alerting入門第3回｜Prometheus Alerting rulesとAlertmanagerで通知を送る

概要
#

今回使う環境
#