Terraform을 사용하여 경고 리소스 생성 및 관리

CI 파이프라인에 사용할 새 서비스 계정을 만드세요.

'알림 규칙 프로비저닝 API에 액세스' 역할을 할당하세요.

새 서비스 계정 토큰을 생성합니다.

Terraform에서 사용할 토큰의 이름을 지정하고 저장합니다.

이 코드 블록을 로컬 시스템의.tf 파일에 복사합니다. < slack-webhook-url >를 Slack 웹후크 URL (또는 다른 연락처) 으로 바꾸십시오.

이 예시에서는 Slack에 경고 알림을 보내는 연락처를 생성합니다.

resource "grafana_contact_point" "my_slack_contact_point" {
    name = "Send to My Slack Channel"

    slack {
        url = <slack-webhook-url>
        text = <<EOT
{{ len .Alerts.Firing }} alerts are firing!

Alert summaries:
{{ range .Alerts.Firing }}
{{ template "Alert Instance Template" . }}
{{ end }}
EOT
    }
}

텍스트 필드에 알림 텍스트를 입력합니다.

이 text 필드는 GO 스타일 템플릿을 지원합니다. 이를 통해 Terraform에서 직접 Grafana 경고 알림 템플릿을 관리할 수 있습니다.

terraform apply 명령을 실행합니다.

Grafana UI로 이동하여 연락처 세부 정보를 확인하십시오.

Terraform을 통해 프로비저닝된 리소스는 UI에서 편집할 수 없습니다. 이렇게 하면 알림 스택이 항상 코드와 동기화된 상태로 유지됩니다.

테스트를 클릭하여 접점이 제대로 작동하는지 확인합니다.

이 코드 블록을 로컬 시스템의.tf 파일에 복사합니다.

이 예시에서는 알림을 다음과 같이 그룹화합니다. 즉alertname, 이름이 같은 경고에서 오는 모든 알림이 동일한 Slack 메시지로 그룹화됩니다.

특정 알림을 다르게 라우팅하려는 경우 하위 정책을 추가할 수 있습니다. 하위 정책을 사용하면 레이블 매칭을 기반으로 여러 경고에 라우팅을 적용할 수 있습니다. 이 예시에서는 레이블이 a=b인 모든 알림에 뮤트 타이밍을 적용합니다.

resource "grafana_notification_policy" "my_policy" {
    group_by = ["alertname"]
    contact_point = grafana_contact_point.my_slack_contact_point.name

    group_wait = "45s"
    group_interval = "6m"
    repeat_interval = "3h"

    policy {
        matcher {
            label = "a"
            match = "="
            value = "b"
        }
        group_by = ["..."]
        contact_point = grafana_contact_point.a_different_contact_point.name
        mute_timings = [grafana_mute_timing.my_mute_timing.name]

        policy {
            matcher {
                label = "sublabel"
                match = "="
                value = "subvalue"
            }
            contact_point = grafana_contact_point.a_third_contact_point.name
            group_by = ["..."]
        }
    }
}

mute_timings 필드에서 뮤트 타이밍을 알림 정책에 연결합니다.

terraform apply 명령을 실행합니다.

Grafana UI로 이동하여 알림 정책의 세부 정보를 확인하세요.

테스트를 클릭하여 알림 지점이 제대로 작동하는지 확인합니다.

이 코드 블록을 로컬 시스템의.tf 파일에 복사합니다.

이 예시에서는 주말에는 경고 알림이 음소거됩니다.

resource "grafana_mute_timing" "my_mute_timing" {
    name = "My Mute Timing"

    intervals {
        times {
          start = "04:56"
          end = "14:17"
        }
        weekdays = ["saturday", "sunday", "tuesday:thursday"]
        months = ["january:march", "12"]
        years = ["2025:2027"]
    }
}

terraform apply 명령을 실행합니다.

Grafana UI로 이동하여 음소거 타이밍의 세부 정보를 확인하세요.

필드를 사용하여 알림 정책에서 새로 만든 뮤트 타이밍을 참조하십시오. mute_timings 이렇게 하면 알림 일부 또는 전체에 뮤트 타이밍이 적용됩니다.

Test를 클릭하여 뮤트 타이밍이 제대로 작동하는지 확인합니다.

쿼리할 데이터 소스와 규칙을 저장할 폴더를 만드세요.

이 예시에서는 테스트용 TestData 데이터 소스 구성 데이터 소스가 사용됩니다.

Grafana의 모든 백엔드 데이터 소스에 대해 경고를 정의할 수 있습니다.

resource "grafana_data_source" "testdata_datasource" {
    name = "TestData"
    type = "testdata"
}

resource "grafana_folder" "rule_folder" {
    title = "My Rule Folder"
}

알림 규칙을 정의하세요.

알림 규칙에 대한 자세한 내용은 Grafana에서 관리하는 알림을 만드는 방법을 참조하십시오.

하나 이상의 규칙을 포함하는 규칙 그룹을 생성합니다.

이 예시에서는 grafana_rule_group 리소스 그룹이 사용됩니다.

resource "grafana_rule_group" "my_rule_group" {
    name = "My Alert Rules"
    folder_uid = grafana_folder.rule_folder.uid
    interval_seconds = 60
    org_id = 1

    rule {
        name = "My Random Walk Alert"
        condition = "C"
        for = "0s"

        // Query the datasource.
        data {
            ref_id = "A"
            relative_time_range {
                from = 600
                to = 0
            }
            datasource_uid = grafana_data_source.testdata_datasource.uid
            // `model` is a JSON blob that sends datasource-specific data.
            // It's different for every datasource. The alert's query is defined here.
            model = jsonencode({
                intervalMs = 1000
                maxDataPoints = 43200
                refId = "A"
            })
        }

        // The query was configured to obtain data from the last 60 seconds. Let's alert on the average value of that series using a Reduce stage.
        data {
            datasource_uid = "__expr__"
            // You can also create a rule in the UI, then GET that rule to obtain the JSON.
            // This can be helpful when using more complex reduce expressions.
            model = <<EOT
{"conditions":[{"evaluator":{"params":[0,0],"type":"gt"},"operator":{"type":"and"},"query":{"params":["A"]},"reducer":{"params":[],"type":"last"},"type":"avg"}],"datasource":{"name":"Expression","type":"__expr__","uid":"__expr__"},"expression":"A","hide":false,"intervalMs":1000,"maxDataPoints":43200,"reducer":"last","refId":"B","type":"reduce"}
EOT
            ref_id = "B"
            relative_time_range {
                from = 0
                to = 0
            }
        }

        // Now, let's use a math expression as our threshold.
        // We want to alert when the value of stage "B" above exceeds 70.
        data {
            datasource_uid = "__expr__"
            ref_id = "C"
            relative_time_range {
                from = 0
                to = 0
            }
            model = jsonencode({
                expression = "$B > 70"
                type = "math"
                refId = "C"
            })
        }
    }
}

Grafana UI로 이동하여 알림 규칙을 확인하세요.

알림 규칙이 실행되고 있는지 확인할 수 있습니다. 또한 각 경고 규칙의 쿼리 단계를 시각화하여 볼 수 있습니다.

알림이 발생하면 Grafana는 정의한 정책을 통해 알림을 라우팅합니다.

예를 들어 Slack을 연락처로 선택하면 Grafana에 내장된 Alertmanager가 Slack에 메시지를 자동으로 게시합니다.