Crie e gerencie recursos de alerta usando o Terraform

Crie uma nova conta de serviço para seu pipeline de CI.

Atribua a função “Acesse as regras de alerta da API de aprovisionamento”.

Crie um novo token de conta de serviço.

Nomeie e salve o token para uso no Terraform.

Copie esse bloco de código em um arquivo.tf em sua máquina local. Substitua < slack-webhook-url > pelo URL do webhook do Slack (ou outro contato)

Este exemplo cria um ponto de contato que envia notificações de alerta para o Slack.

resource "grafana_contact_point" "my_slack_contact_point" {
    name = "Send to My Slack Channel"

    slack {
        url = <slack-webhook-url>
        text = <<EOT
{{ len .Alerts.Firing }} alerts are firing!

Alert summaries:
{{ range .Alerts.Firing }}
{{ template "Alert Instance Template" . }}
{{ end }}
EOT
    }
}

Insira o texto para sua notificação no campo de texto.

O text campo oferece suporte à modelagem no estilo Go. Isso permite que você gerencie seus modelos de notificação de Alerta da Grafana diretamente no Terraform.

Execute o comando terraform apply.

Acesse a interface do usuário do Grafana e verifique os detalhes do seu ponto de contato.

Você não pode editar recursos provisionados via Terraform a partir da interface do usuário. Isso garante que sua pilha de alertas sempre permaneça sincronizada com seu código.

Clique em Testar para verificar se o ponto de contato funciona corretamente.

Copie esse bloco de código em um arquivo.tf em sua máquina local.

Neste exemplo, os alertas são agrupados poralertname, o que significa que todas as notificações provenientes de alertas que compartilham o mesmo nome são agrupadas na mesma mensagem do Slack.

Se quiser rotear notificações específicas de forma diferente, você pode adicionar subpolíticas. As subpolíticas permitem que você aplique o roteamento a diferentes alertas com base na correspondência de rótulos. Neste exemplo, aplicamos um tempo de silêncio a todos os alertas com o rótulo a=b.

resource "grafana_notification_policy" "my_policy" {
    group_by = ["alertname"]
    contact_point = grafana_contact_point.my_slack_contact_point.name

    group_wait = "45s"
    group_interval = "6m"
    repeat_interval = "3h"

    policy {
        matcher {
            label = "a"
            match = "="
            value = "b"
        }
        group_by = ["..."]
        contact_point = grafana_contact_point.a_different_contact_point.name
        mute_timings = [grafana_mute_timing.my_mute_timing.name]

        policy {
            matcher {
                label = "sublabel"
                match = "="
                value = "subvalue"
            }
            contact_point = grafana_contact_point.a_third_contact_point.name
            group_by = ["..."]
        }
    }
}

No campo mute_timings, vincule um tempo de silêncio à sua política de notificação.

Execute o comando terraform apply.

Acesse a interface do usuário do Grafana e verifique os detalhes da sua política de notificação.

Clique em Testar para verificar se o ponto de notificação está funcionando corretamente.

Copie esse bloco de código em um arquivo.tf em sua máquina local.

Neste exemplo, as notificações de alerta são silenciadas nos finais de semana.

resource "grafana_mute_timing" "my_mute_timing" {
    name = "My Mute Timing"

    intervals {
        times {
          start = "04:56"
          end = "14:17"
        }
        weekdays = ["saturday", "sunday", "tuesday:thursday"]
        months = ["january:march", "12"]
        years = ["2025:2027"]
    }
}

Execute o comando terraform apply.

Acesse a interface do Grafana e verifique os detalhes do tempo de silenciamento.

Faça referência ao tempo de silenciamento recém-criado em uma política de notificação usando o mute_timings campo. Isso aplicará seu tempo de silenciamento a algumas ou a todas as suas notificações.

Clique em Testar para verificar se o tempo de silenciamento está funcionando corretamente.

Crie uma fonte de dados para consultar e uma pasta para armazenar suas regras.

Neste exemplo, a fonte Configurar uma fonte de TestData dados para testes de dados é usada.

Os alertas podem ser definidos em relação a qualquer fonte de dados de back-end no Grafana.

resource "grafana_data_source" "testdata_datasource" {
    name = "TestData"
    type = "testdata"
}

resource "grafana_folder" "rule_folder" {
    title = "My Rule Folder"
}

Defina uma regra de alerta.

Para obter mais informações sobre as regras de alerta, consulte como criar alertas gerenciados pelo Grafana.

Crie um grupo de regras contendo uma ou mais regras.

Neste exemplo, o grupo grafana_rule_group de recursos é usado.

resource "grafana_rule_group" "my_rule_group" {
    name = "My Alert Rules"
    folder_uid = grafana_folder.rule_folder.uid
    interval_seconds = 60
    org_id = 1

    rule {
        name = "My Random Walk Alert"
        condition = "C"
        for = "0s"

        // Query the datasource.
        data {
            ref_id = "A"
            relative_time_range {
                from = 600
                to = 0
            }
            datasource_uid = grafana_data_source.testdata_datasource.uid
            // `model` is a JSON blob that sends datasource-specific data.
            // It's different for every datasource. The alert's query is defined here.
            model = jsonencode({
                intervalMs = 1000
                maxDataPoints = 43200
                refId = "A"
            })
        }

        // The query was configured to obtain data from the last 60 seconds. Let's alert on the average value of that series using a Reduce stage.
        data {
            datasource_uid = "__expr__"
            // You can also create a rule in the UI, then GET that rule to obtain the JSON.
            // This can be helpful when using more complex reduce expressions.
            model = <<EOT
{"conditions":[{"evaluator":{"params":[0,0],"type":"gt"},"operator":{"type":"and"},"query":{"params":["A"]},"reducer":{"params":[],"type":"last"},"type":"avg"}],"datasource":{"name":"Expression","type":"__expr__","uid":"__expr__"},"expression":"A","hide":false,"intervalMs":1000,"maxDataPoints":43200,"reducer":"last","refId":"B","type":"reduce"}
EOT
            ref_id = "B"
            relative_time_range {
                from = 0
                to = 0
            }
        }

        // Now, let's use a math expression as our threshold.
        // We want to alert when the value of stage "B" above exceeds 70.
        data {
            datasource_uid = "__expr__"
            ref_id = "C"
            relative_time_range {
                from = 0
                to = 0
            }
            model = jsonencode({
                expression = "$B > 70"
                type = "math"
                refId = "C"
            })
        }
    }
}

Acesse a interface do Grafana e verifique sua regra de alerta.

Você pode ver se a regra de alerta está sendo acionada. Você também pode ver uma visualização de cada um dos estágios de consulta da regra de alerta.

Quando o alerta é acionado, a Grafana encaminha uma notificação por meio da política que você definiu.

Por exemplo, se você escolheu o Slack como ponto de contato, o Alertmanager incorporado do Grafana publica automaticamente uma mensagem no Slack.