Buat dan kelola sumber daya peringatan menggunakan Terraform

Buat akun layanan baru untuk pipeline CI Anda.

Tetapkan peran “Akses API Penyediaan aturan peringatan.”

Buat token akun layanan baru.

Beri nama dan simpan token untuk digunakan di Terraform.

Salin blok kode ini ke file.tf di mesin lokal Anda. Ganti < slack-webhook-url > dengan URL webhook Slack Anda (atau kontak lainnya

Contoh ini menciptakan titik kontak yang mengirimkan pemberitahuan peringatan ke Slack.

resource "grafana_contact_point" "my_slack_contact_point" {
    name = "Send to My Slack Channel"

    slack {
        url = <slack-webhook-url>
        text = <<EOT
{{ len .Alerts.Firing }} alerts are firing!

Alert summaries:
{{ range .Alerts.Firing }}
{{ template "Alert Instance Template" . }}
{{ end }}
EOT
    }
}

Masukkan teks untuk notifikasi Anda di bidang teks.

textBidang ini mendukung Templating Go-style. Ini memungkinkan Anda untuk mengelola templat notifikasi Grafana Alerting Anda langsung di Terraform.

Jalankan perintah terraform apply.

Buka Grafana UI dan periksa detail titik kontak Anda.

Anda tidak dapat mengedit sumber daya yang disediakan melalui Terraform dari UI. Ini memastikan bahwa tumpukan peringatan Anda selalu sinkron dengan kode Anda.

Klik Uji untuk memverifikasi bahwa titik kontak berfungsi dengan benar.

Salin blok kode ini ke file.tf di mesin lokal Anda.

Dalam contoh ini, peringatan dikelompokkan berdasarkanalertname, yang berarti bahwa setiap pemberitahuan yang berasal dari peringatan yang memiliki nama yang sama, dikelompokkan ke dalam pesan Slack yang sama.

Jika Anda ingin merutekan pemberitahuan tertentu secara berbeda, Anda dapat menambahkan sub-kebijakan. Sub-kebijakan memungkinkan Anda menerapkan perutean ke peringatan yang berbeda berdasarkan pencocokan label. Dalam contoh ini, kami menerapkan waktu bisu ke semua peringatan dengan label a=b.

resource "grafana_notification_policy" "my_policy" {
    group_by = ["alertname"]
    contact_point = grafana_contact_point.my_slack_contact_point.name

    group_wait = "45s"
    group_interval = "6m"
    repeat_interval = "3h"

    policy {
        matcher {
            label = "a"
            match = "="
            value = "b"
        }
        group_by = ["..."]
        contact_point = grafana_contact_point.a_different_contact_point.name
        mute_timings = [grafana_mute_timing.my_mute_timing.name]

        policy {
            matcher {
                label = "sublabel"
                match = "="
                value = "subvalue"
            }
            contact_point = grafana_contact_point.a_third_contact_point.name
            group_by = ["..."]
        }
    }
}

Di bidang mute_timings, tautkan waktu bisu ke kebijakan notifikasi Anda.

Jalankan perintah terraform apply.

Buka Grafana UI dan periksa detail kebijakan notifikasi Anda.

Klik Uji untuk memverifikasi bahwa titik notifikasi berfungsi dengan benar.

Salin blok kode ini ke file.tf di mesin lokal Anda.

Dalam contoh ini, notifikasi peringatan dibisukan pada akhir pekan.

resource "grafana_mute_timing" "my_mute_timing" {
    name = "My Mute Timing"

    intervals {
        times {
          start = "04:56"
          end = "14:17"
        }
        weekdays = ["saturday", "sunday", "tuesday:thursday"]
        months = ["january:march", "12"]
        years = ["2025:2027"]
    }
}

Jalankan perintah terraform apply.

Buka Grafana UI dan periksa detail waktu bisu Anda.

Referensikan waktu bisu yang baru dibuat dalam kebijakan notifikasi menggunakan mute_timings bidang. Ini akan menerapkan waktu bisu Anda ke beberapa atau semua notifikasi Anda.

Klik Uji untuk memverifikasi bahwa waktu bisu berfungsi dengan benar.

Buat sumber data untuk kueri dan folder untuk menyimpan aturan Anda.

Dalam contoh ini, sumber Konfigurasikan sumber TestData data untuk pengujian data digunakan.

Peringatan dapat didefinisikan terhadap sumber data backend apa pun di Grafana.

resource "grafana_data_source" "testdata_datasource" {
    name = "TestData"
    type = "testdata"
}

resource "grafana_folder" "rule_folder" {
    title = "My Rule Folder"
}

Tentukan aturan peringatan.

Untuk informasi selengkapnya tentang aturan peringatan, lihat cara membuat lansiran yang dikelola Grafana.

Buat grup aturan yang berisi satu atau beberapa aturan.

Dalam contoh ini, grup grafana_rule_group sumber daya digunakan.

resource "grafana_rule_group" "my_rule_group" {
    name = "My Alert Rules"
    folder_uid = grafana_folder.rule_folder.uid
    interval_seconds = 60
    org_id = 1

    rule {
        name = "My Random Walk Alert"
        condition = "C"
        for = "0s"

        // Query the datasource.
        data {
            ref_id = "A"
            relative_time_range {
                from = 600
                to = 0
            }
            datasource_uid = grafana_data_source.testdata_datasource.uid
            // `model` is a JSON blob that sends datasource-specific data.
            // It's different for every datasource. The alert's query is defined here.
            model = jsonencode({
                intervalMs = 1000
                maxDataPoints = 43200
                refId = "A"
            })
        }

        // The query was configured to obtain data from the last 60 seconds. Let's alert on the average value of that series using a Reduce stage.
        data {
            datasource_uid = "__expr__"
            // You can also create a rule in the UI, then GET that rule to obtain the JSON.
            // This can be helpful when using more complex reduce expressions.
            model = <<EOT
{"conditions":[{"evaluator":{"params":[0,0],"type":"gt"},"operator":{"type":"and"},"query":{"params":["A"]},"reducer":{"params":[],"type":"last"},"type":"avg"}],"datasource":{"name":"Expression","type":"__expr__","uid":"__expr__"},"expression":"A","hide":false,"intervalMs":1000,"maxDataPoints":43200,"reducer":"last","refId":"B","type":"reduce"}
EOT
            ref_id = "B"
            relative_time_range {
                from = 0
                to = 0
            }
        }

        // Now, let's use a math expression as our threshold.
        // We want to alert when the value of stage "B" above exceeds 70.
        data {
            datasource_uid = "__expr__"
            ref_id = "C"
            relative_time_range {
                from = 0
                to = 0
            }
            model = jsonencode({
                expression = "$B > 70"
                type = "math"
                refId = "C"
            })
        }
    }
}

Buka UI Grafana dan periksa aturan peringatan Anda.

Anda dapat melihat apakah aturan peringatan menyala. Anda juga dapat melihat visualisasi setiap tahapan kueri aturan peringatan.

Saat peringatan diaktifkan, Grafana merutekan notifikasi melalui kebijakan yang Anda tetapkan.

Misalnya, jika Anda memilih Slack sebagai titik kontak, Alertmanager tertanam Grafana secara otomatis memposting pesan ke Slack.