Creación y administración de recursos de alertas con Terraform

Cree una nueva cuenta de servicio para su canalización de CI.

Asigne el rol “Acceder a la API de aprovisionamiento de las reglas de alerta”.

Cree un nuevo token para la cuenta de servicio.

Asigne un nombre al token y guárdelo para usarlo en Terraform.

Copie este bloque de código en un archivo .tf en su máquina local. Sustituya <slack-webhook-url> por la URL de su webhook de Slack (u otro contacto).

En este ejemplo, se crea un punto de contacto que envía notificaciones de alerta a Slack.

resource "grafana_contact_point" "my_slack_contact_point" {
    name = "Send to My Slack Channel"

    slack {
        url = <slack-webhook-url>
        text = <<EOT
{{ len .Alerts.Firing }} alerts are firing!

Alert summaries:
{{ range .Alerts.Firing }}
{{ template "Alert Instance Template" . }}
{{ end }}
EOT
    }
}

Ingrese el texto de la notificación en el campo de texto.

El campo text admite plantillas al estilo de Go. Esto le permite administrar sus plantillas de notificaciones de Grafana Alerting directamente en Terraform.

Ejecute el comando terraform apply.

Vaya a la interfaz de usuario de Grafana y compruebe los detalles de su punto de contacto.

No puede editar los recursos aprovisionados mediante Terraform desde la interfaz de usuario. Esto garantiza que su pila de alertas esté siempre sincronizada con su código.

Haga clic en Probar para verificar que el punto de contacto funciona correctamente.

Copie este bloque de código en un archivo .tf en su máquina local.

En este ejemplo, las alertas se agrupan por alertname, lo que significa que cualquier notificación procedente de alertas que compartan el mismo nombre se agrupa en el mismo mensaje de Slack.

Si quiere redirigir notificaciones específicas de forma diferente, puede agregar subpolíticas. Las subpolíticas le permiten aplicar el enrutamiento a diferentes alertas en función de la coincidencia de etiquetas. En este ejemplo, aplicamos un temporizador de silencio a todas las alertas con la etiqueta a=b.

resource "grafana_notification_policy" "my_policy" {
    group_by = ["alertname"]
    contact_point = grafana_contact_point.my_slack_contact_point.name

    group_wait = "45s"
    group_interval = "6m"
    repeat_interval = "3h"

    policy {
        matcher {
            label = "a"
            match = "="
            value = "b"
        }
        group_by = ["..."]
        contact_point = grafana_contact_point.a_different_contact_point.name
        mute_timings = [grafana_mute_timing.my_mute_timing.name]

        policy {
            matcher {
                label = "sublabel"
                match = "="
                value = "subvalue"
            }
            contact_point = grafana_contact_point.a_third_contact_point.name
            group_by = ["..."]
        }
    }
}

En el campo mute_timings, vincule un temporizador de silencio con su política de notificaciones.

Ejecute el comando terraform apply.

Vaya a la interfaz de usuario de Grafana y compruebe los detalles de su política de notificaciones.

Haga clic en Probar para verificar que el punto de notificación funciona correctamente.

Copie este bloque de código en un archivo .tf en su máquina local.

En este ejemplo, las notificaciones de alerta se silencian los fines de semana.

resource "grafana_mute_timing" "my_mute_timing" {
    name = "My Mute Timing"

    intervals {
        times {
          start = "04:56"
          end = "14:17"
        }
        weekdays = ["saturday", "sunday", "tuesday:thursday"]
        months = ["january:march", "12"]
        years = ["2025:2027"]
    }
}

Ejecute el comando terraform apply.

Vaya a la interfaz de usuario de Grafana y compruebe los detalles de su temporizador de silencio.

Use el campo mute_timings para hacer referencia al temporizador de silencio que acaba de crear en una política de notificaciones. De este modo, se aplicará el temporizador de silencio a algunas o a todas las notificaciones.

Haga clic en Probar para verificar que el temporizador de silencio funciona correctamente.

Cree el origen de datos que se va a consultar y una carpeta en la que almacenar las reglas.

En este ejemplo, se usa el origen de datos Configuración de un origen de datos TestData para hacer pruebas.

Las alertas se pueden definir en cualquier origen de datos de backend de Grafana.

resource "grafana_data_source" "testdata_datasource" {
    name = "TestData"
    type = "testdata"
}

resource "grafana_folder" "rule_folder" {
    title = "My Rule Folder"
}

Defina una regla de alerta.

Para obtener más información sobre las reglas de alerta, consulte cómo crear alertas administradas por Grafana.

Cree un grupo de reglas que contenga una o más reglas.

En este ejemplo, se usa el grupo de recursos grafana_rule_group.

resource "grafana_rule_group" "my_rule_group" {
    name = "My Alert Rules"
    folder_uid = grafana_folder.rule_folder.uid
    interval_seconds = 60
    org_id = 1

    rule {
        name = "My Random Walk Alert"
        condition = "C"
        for = "0s"

        // Query the datasource.
        data {
            ref_id = "A"
            relative_time_range {
                from = 600
                to = 0
            }
            datasource_uid = grafana_data_source.testdata_datasource.uid
            // `model` is a JSON blob that sends datasource-specific data.
            // It's different for every datasource. The alert's query is defined here.
            model = jsonencode({
                intervalMs = 1000
                maxDataPoints = 43200
                refId = "A"
            })
        }

        // The query was configured to obtain data from the last 60 seconds. Let's alert on the average value of that series using a Reduce stage.
        data {
            datasource_uid = "__expr__"
            // You can also create a rule in the UI, then GET that rule to obtain the JSON.
            // This can be helpful when using more complex reduce expressions.
            model = <<EOT
{"conditions":[{"evaluator":{"params":[0,0],"type":"gt"},"operator":{"type":"and"},"query":{"params":["A"]},"reducer":{"params":[],"type":"last"},"type":"avg"}],"datasource":{"name":"Expression","type":"__expr__","uid":"__expr__"},"expression":"A","hide":false,"intervalMs":1000,"maxDataPoints":43200,"reducer":"last","refId":"B","type":"reduce"}
EOT
            ref_id = "B"
            relative_time_range {
                from = 0
                to = 0
            }
        }

        // Now, let's use a math expression as our threshold.
        // We want to alert when the value of stage "B" above exceeds 70.
        data {
            datasource_uid = "__expr__"
            ref_id = "C"
            relative_time_range {
                from = 0
                to = 0
            }
            model = jsonencode({
                expression = "$B > 70"
                type = "math"
                refId = "C"
            })
        }
    }
}

Vaya a la interfaz de usuario de Grafana y compruebe su regla de alerta.

De esta forma podrá ver si la regla de alerta se activa. También puede ver una visualización de cada una de las fases de consulta de la regla de alerta.

Cuando se activa la alerta, Grafana envía una notificación a través de la política que haya definido.

Por ejemplo, si elige Slack como punto de contacto, Alertmanager integrado de Grafana publica automáticamente un mensaje en Slack.