Terraform을 사용하여 알림 리소스 생성 및 관리

CI 파이프라인에 대한 새 서비스 계정을 생성하세요.

'알림 규칙 프로비저닝 API에 액세스' 역할을 할당하세요.

새 서비스 계정 토큰을 생성하세요.

Terraform에서 사용할 토큰의 이름을 지정하고 저장하세요.

이 코드 블록을 로컬 시스템의 .tf 파일로 복사하세요. <slack-webhook-url>을 Slack 웹후크 URL(또는 기타 연락 지점 세부 정보)로 바꾸세요.

이 예제에서는 Slack에 알림 전달을 전송하는 연락 지점을 생성합니다.

resource "grafana_contact_point" "my_slack_contact_point" {
    name = "Send to My Slack Channel"

    slack {
        url = <slack-webhook-url>
        text = <<EOT
{{ len .Alerts.Firing }} alerts are firing!

Alert summaries:
{{ range .Alerts.Firing }}
{{ template "Alert Instance Template" . }}
{{ end }}
EOT
    }
}

텍스트 필드에 알림 텍스트를 입력하세요.

text 필드는 Go 스타일 템플릿 지정을 지원합니다. 이를 통해 Grafana 알림 전달 템플릿을 Terraform에서 직접 관리할 수 있습니다.

terraform apply 명령을 실행합니다.

Grafana UI로 이동하여 연락 지점의 세부 정보를 확인하세요.

UI에서 Terraform을 통해 프로비저닝된 리소스를 편집할 수 없습니다. 그러면 알림 스택이 항상 코드와 동기화됩니다.

테스트를 클릭하여 연락 지점이 올바르게 작동하는지 확인하세요.

이 코드 블록을 로컬 시스템의 .tf 파일로 복사하세요.

이 예제에서는 알림이 alertname을 기준으로 그룹화됩니다. 즉, 동일한 이름을 공유하는 알림에서 수신되는 모든 알림이 동일한 Slack 메시지로 그룹화됩니다.

특정 알림을 다르게 라우팅하려는 경우 하위 정책을 추가할 수 있습니다. 하위 정책을 사용하면 레이블 일치에 따라 다양한 알림에 라우팅을 적용할 수 있습니다. 이 예제에서는 a=b 레이블이 있는 모든 알림에 음소거 타이밍을 적용합니다.

resource "grafana_notification_policy" "my_policy" {
    group_by = ["alertname"]
    contact_point = grafana_contact_point.my_slack_contact_point.name

    group_wait = "45s"
    group_interval = "6m"
    repeat_interval = "3h"

    policy {
        matcher {
            label = "a"
            match = "="
            value = "b"
        }
        group_by = ["..."]
        contact_point = grafana_contact_point.a_different_contact_point.name
        mute_timings = [grafana_mute_timing.my_mute_timing.name]

        policy {
            matcher {
                label = "sublabel"
                match = "="
                value = "subvalue"
            }
            contact_point = grafana_contact_point.a_third_contact_point.name
            group_by = ["..."]
        }
    }
}

mute_timings 필드에서 음소거 타이밍을 알림 정책에 연결하세요.

terraform apply 명령을 실행합니다.

Grafana UI로 이동하여 알림 정책의 세부 정보를 확인하세요.

테스트를 클릭하여 알림 포인트가 올바르게 작동하는지 확인하세요.

이 코드 블록을 로컬 시스템의 .tf 파일로 복사하세요.

이 예제에서는 주말에 알림 전달이 음소거됩니다.

resource "grafana_mute_timing" "my_mute_timing" {
    name = "My Mute Timing"

    intervals {
        times {
          start = "04:56"
          end = "14:17"
        }
        weekdays = ["saturday", "sunday", "tuesday:thursday"]
        months = ["january:march", "12"]
        years = ["2025:2027"]
    }
}

terraform apply 명령을 실행합니다.

Grafana UI로 이동하여 음소거 타이밍의 세부 정보를 확인하세요.

mute_timings 필드를 사용하여 알림 정책에서 새로 생성된 음소거 타이밍을 참조하세요. 그러면 일부 또는 모든 알림에 음소거 시간이 적용됩니다.

테스트를 클릭하여 음소거 타이밍이 올바르게 작동하는지 확인하세요.

쿼리할 데이터 소스와 규칙을 저장할 폴더를 생성하세요.

이 예제에서 테스트를 위한 TestData 데이터 소스 구성 데이터 소스가 사용됩니다.

Grafana의 모든 백엔드 데이터 소스에 대해 알림을 정의할 수 있습니다.

resource "grafana_data_source" "testdata_datasource" {
    name = "TestData"
    type = "testdata"
}

resource "grafana_folder" "rule_folder" {
    title = "My Rule Folder"
}

알림 규칙을 정의하세요.

알림 규칙에 대한 자세한 내용은 how to create Grafana-managed alerts를 참조하세요.

하나 이상의 규칙이 포함된 규칙 그룹을 생성하세요.

이 예제에서 grafana_rule_group 리소스 그룹이 사용됩니다.

resource "grafana_rule_group" "my_rule_group" {
    name = "My Alert Rules"
    folder_uid = grafana_folder.rule_folder.uid
    interval_seconds = 60
    org_id = 1

    rule {
        name = "My Random Walk Alert"
        condition = "C"
        for = "0s"

        // Query the datasource.
        data {
            ref_id = "A"
            relative_time_range {
                from = 600
                to = 0
            }
            datasource_uid = grafana_data_source.testdata_datasource.uid
            // `model` is a JSON blob that sends datasource-specific data.
            // It's different for every datasource. The alert's query is defined here.
            model = jsonencode({
                intervalMs = 1000
                maxDataPoints = 43200
                refId = "A"
            })
        }

        // The query was configured to obtain data from the last 60 seconds. Let's alert on the average value of that series using a Reduce stage.
        data {
            datasource_uid = "__expr__"
            // You can also create a rule in the UI, then GET that rule to obtain the JSON.
            // This can be helpful when using more complex reduce expressions.
            model = <<EOT
{"conditions":[{"evaluator":{"params":[0,0],"type":"gt"},"operator":{"type":"and"},"query":{"params":["A"]},"reducer":{"params":[],"type":"last"},"type":"avg"}],"datasource":{"name":"Expression","type":"__expr__","uid":"__expr__"},"expression":"A","hide":false,"intervalMs":1000,"maxDataPoints":43200,"reducer":"last","refId":"B","type":"reduce"}
EOT
            ref_id = "B"
            relative_time_range {
                from = 0
                to = 0
            }
        }

        // Now, let's use a math expression as our threshold.
        // We want to alert when the value of stage "B" above exceeds 70.
        data {
            datasource_uid = "__expr__"
            ref_id = "C"
            relative_time_range {
                from = 0
                to = 0
            }
            model = jsonencode({
                expression = "$B > 70"
                type = "math"
                refId = "C"
            })
        }
    }
}

Grafana UI로 이동하여 알림 규칙을 확인하세요.

알림 규칙이 실행 중인지 확인할 수 있습니다. 또한 각 알림 규칙의 쿼리 단계에 대한 시각화를 볼 수 있습니다.

알림이 실행되면 Grafana에서는 사용자가 정의한 정책을 통해 알림을 라우팅합니다.

예를 들어 Slack을 연락 지점으로 선택하면 Grafana의 임베드된 Alertmanager에서 자동으로 Slack에 메시지를 게시합니다.