Erstellen und verwalten Sie Warnressourcen mit Terraform

Erstellen Sie ein neues Dienstkonto für Ihre CI-Pipeline.

Weisen Sie die Rolle „Access the Alert Rules Provisioning API“ zu.

Erstellen Sie ein neues Dienstkonto-Token.

Benennen und speichern Sie das Token für die Verwendung in Terraform.

Kopieren Sie diesen Codeblock in eine .tf-Datei auf Ihrem lokalen Computer. Ersetze < slack-webhook-url > durch deine Slack-Webhook-URL (oder andere Kontaktpunktdetails).

In diesem Beispiel wird eine Kontaktstelle erstellt, die Warnmeldungen an Slack sendet.

resource "grafana_contact_point" "my_slack_contact_point" {
    name = "Send to My Slack Channel"

    slack {
        url = <slack-webhook-url>
        text = <<EOT
{{ len .Alerts.Firing }} alerts are firing!

Alert summaries:
{{ range .Alerts.Firing }}
{{ template "Alert Instance Template" . }}
{{ end }}
EOT
    }
}

Gib den Text für deine Benachrichtigung in das Textfeld ein.

Das text Feld unterstützt Templating im GO-Stil. Auf diese Weise können Sie Ihre Grafana-Benachrichtigungsvorlagen direkt in Terraform verwalten.

Führen Sie den Befehl terraform apply aus.

Gehen Sie zur Grafana-Benutzeroberfläche und überprüfen Sie die Details Ihrer Kontaktstelle.

Sie können über Terraform bereitgestellte Ressourcen nicht über die Benutzeroberfläche bearbeiten. Dadurch wird sichergestellt, dass Ihr Alert-Stack immer mit Ihrem Code synchron bleibt.

Klicken Sie auf Test, um zu überprüfen, ob die Kontaktstelle ordnungsgemäß funktioniert.

Kopieren Sie diesen Codeblock in eine .tf-Datei auf Ihrem lokalen Computer.

In diesem Beispiel werden die Benachrichtigungen nach gruppiertalertname, was bedeutet, dass alle Benachrichtigungen, die von Benachrichtigungen stammen, die denselben Namen haben, in derselben Slack-Nachricht gruppiert werden.

Wenn du bestimmte Benachrichtigungen unterschiedlich weiterleiten möchtest, kannst du Unterrichtlinien hinzufügen. Mithilfe von Unterrichtlinien können Sie das Routing auf verschiedene Benachrichtigungen anwenden, die auf der Zuordnung von Bezeichnungen basieren. In diesem Beispiel wenden wir eine Stummschaltung auf alle Alarme mit der Bezeichnung a=b an.

resource "grafana_notification_policy" "my_policy" {
    group_by = ["alertname"]
    contact_point = grafana_contact_point.my_slack_contact_point.name

    group_wait = "45s"
    group_interval = "6m"
    repeat_interval = "3h"

    policy {
        matcher {
            label = "a"
            match = "="
            value = "b"
        }
        group_by = ["..."]
        contact_point = grafana_contact_point.a_different_contact_point.name
        mute_timings = [grafana_mute_timing.my_mute_timing.name]

        policy {
            matcher {
                label = "sublabel"
                match = "="
                value = "subvalue"
            }
            contact_point = grafana_contact_point.a_third_contact_point.name
            group_by = ["..."]
        }
    }
}

Verknüpfen Sie im Feld mute_timings einen Zeitpunkt der Stummschaltung mit Ihrer Benachrichtigungsrichtlinie.

Führen Sie den Befehl terraform apply aus.

Gehen Sie zur Grafana-Benutzeroberfläche und überprüfen Sie die Details Ihrer Benachrichtigungsrichtlinie.

Klicken Sie auf Test, um zu überprüfen, ob der Benachrichtigungspunkt ordnungsgemäß funktioniert.

Kopieren Sie diesen Codeblock in eine .tf-Datei auf Ihrem lokalen Computer.

In diesem Beispiel sind Warnmeldungen am Wochenende stummgeschaltet.

resource "grafana_mute_timing" "my_mute_timing" {
    name = "My Mute Timing"

    intervals {
        times {
          start = "04:56"
          end = "14:17"
        }
        weekdays = ["saturday", "sunday", "tuesday:thursday"]
        months = ["january:march", "12"]
        years = ["2025:2027"]
    }
}

Führen Sie den Befehl terraform apply aus.

Gehen Sie zur Grafana-Benutzeroberfläche und überprüfen Sie die Details Ihres Mute-Timings.

Verweisen Sie mithilfe des mute_timings Felds in einer Benachrichtigungsrichtlinie auf Ihr neu erstelltes Timing für die Stummschaltung. Dadurch wird dein Timing für die Stummschaltung auf einige oder alle deine Benachrichtigungen angewendet.

Klicken Sie auf Test, um zu überprüfen, ob das Timing der Stummschaltung korrekt funktioniert.

Erstellen Sie eine Datenquelle für die Abfrage und einen Ordner, in dem Sie Ihre Regeln speichern möchten.

In diesem Beispiel wird die Konfigurieren Sie eine TestData Datenquelle zum Testen Datenquelle verwendet.

Alerts können für jede Backend-Datenquelle in Grafana definiert werden.

resource "grafana_data_source" "testdata_datasource" {
    name = "TestData"
    type = "testdata"
}

resource "grafana_folder" "rule_folder" {
    title = "My Rule Folder"
}

Definieren Sie eine Warnungsregel.

Weitere Informationen zu Warnungsregeln finden Sie unter So erstellen Sie von Grafana verwaltete Benachrichtigungen.

Erstellen Sie eine Regelgruppe, die eine oder mehrere Regeln enthält.

In diesem Beispiel wird die grafana_rule_group Ressourcengruppe verwendet.

resource "grafana_rule_group" "my_rule_group" {
    name = "My Alert Rules"
    folder_uid = grafana_folder.rule_folder.uid
    interval_seconds = 60
    org_id = 1

    rule {
        name = "My Random Walk Alert"
        condition = "C"
        for = "0s"

        // Query the datasource.
        data {
            ref_id = "A"
            relative_time_range {
                from = 600
                to = 0
            }
            datasource_uid = grafana_data_source.testdata_datasource.uid
            // `model` is a JSON blob that sends datasource-specific data.
            // It's different for every datasource. The alert's query is defined here.
            model = jsonencode({
                intervalMs = 1000
                maxDataPoints = 43200
                refId = "A"
            })
        }

        // The query was configured to obtain data from the last 60 seconds. Let's alert on the average value of that series using a Reduce stage.
        data {
            datasource_uid = "__expr__"
            // You can also create a rule in the UI, then GET that rule to obtain the JSON.
            // This can be helpful when using more complex reduce expressions.
            model = <<EOT
{"conditions":[{"evaluator":{"params":[0,0],"type":"gt"},"operator":{"type":"and"},"query":{"params":["A"]},"reducer":{"params":[],"type":"last"},"type":"avg"}],"datasource":{"name":"Expression","type":"__expr__","uid":"__expr__"},"expression":"A","hide":false,"intervalMs":1000,"maxDataPoints":43200,"reducer":"last","refId":"B","type":"reduce"}
EOT
            ref_id = "B"
            relative_time_range {
                from = 0
                to = 0
            }
        }

        // Now, let's use a math expression as our threshold.
        // We want to alert when the value of stage "B" above exceeds 70.
        data {
            datasource_uid = "__expr__"
            ref_id = "C"
            relative_time_range {
                from = 0
                to = 0
            }
            model = jsonencode({
                expression = "$B > 70"
                type = "math"
                refId = "C"
            })
        }
    }
}

Gehen Sie zur Grafana-Benutzeroberfläche und überprüfen Sie Ihre Alarmregel.

Sie können sehen, ob die Warnregel ausgelöst wird. Sie können sich auch eine Visualisierung der einzelnen Abfrageschritte der Warnungsregel anzeigen lassen.

Wenn die Warnung ausgelöst wird, leitet Grafana eine Benachrichtigung über die von Ihnen definierte Richtlinie weiter.

Wenn du beispielsweise Slack als Kontaktstelle ausgewählt hast, sendet der eingebettete Alertmanager von Grafana automatisch eine Nachricht an Slack.