개요

막 시작했든 Grafana 알림에 대한 보다 숙련된 사용자이든, 알림을 생성, 관리 및 대응하고 문제를 신속하게 해결하는 팀의 역량을 개선하는 데 도움이 되는 기본 사항과 사용 가능한 기능을 자세히 알아봅니다.

원칙

Prometheus 기반 알림 시스템에는 알림을 생성하는 알림 생성기와 알림을 수신하는 알림 수신기가 있습니다. 예를 들어, Prometheus는 알림 생성기이며 알림 규칙을 평가할 책임이 있는 반면, Alertmanager는 알림 수신기이며 실행 및 해결된 알림에 대한 알림의 그룹화, 억제, 무음 및 전송을 수행할 책임이 있습니다.

Grafana 알림은 알림 시스템을 설계하는 Prometheus 모델에 빌드됩니다. 여기에는 알림 규칙 예약 및 평가를 담당하는 내부 알림 생성기와 알림 그룹화, 금지, 무음 및 전송을 담당하는 내부 알림 수신기가 있습니다. Grafana 알림은 Prometheus 외에도 다른 많은 데이터 소스와 함께 작동해야 하기 때문에 Grafana는 Prometheus를 알림 생성기로 사용하지 않습니다. 그러나 Alertmanager를 알림 수신기로 사용합니다.

알림은 알림 수신기로 전송됩니다. 여기에서 라우팅, 그룹화, 금지, 무음 및 알림이 수행됩니다. Grafana 알림에서 기본 알림 수신기는 Grafana 내에 임베드된 Alertmanager이며 Grafana Alertmanager라고 합니다. 그러나 다른 Alertmanager도 사용할 수 있으며 이를 외부 Alertmanager라고 합니다.

기본 사항

다음에서는 Grafana 알림의 다양한 부분에 대한 개요를 제공합니다.

알림 규칙

알림 규칙은 알림이 실행되어야 하는 시기를 결정하는 기준 세트입니다. 하나 이상의 쿼리 및 표현식, 충족해야 하는 조건, 알림 규칙 평가 빈도를 결정하는 간격, 알림 실생을 위해 조건을 충족해야 하는 기간으로 구성됩니다.

알림 규칙은 해당 간격에 걸쳐 평가되며 각 알림 규칙은 한 번에 0개, 1개 또는 임의 수의 알림을 실행할 수 있습니다. 알림 규칙의 상태 조건은 가장 높은 심각도의 알림(severe)에 따라 결정되며, 이는 정상, 보류 중 또는 실행 중 하나일 수 있습니다. 예를 들어 알림 규칙의 알림 중 하나 이상이 실행 중인 경우 알림 규칙도 실행됩니다. 알림 규칙의 상태는 가장 최근 평가의 상태에 따라 결정됩니다. OK, Error 및 NoData일 수 있습니다.

알림 규칙의 매우 중요한 기능은 사용자 지정 주석과 레이블을 지원하는 것입니다. 이를 통해 요약 및 설명과 같은 추가 메타데이터를 사용하여 알림을 계측하고, 알림을 특정 알림 정책에 라우팅하는 레이블을 추가할 수 있습니다.

알림

알림은 레이블이라는 키/값 페어 세트로 고유하게 식별됩니다. 각 키는 레이블 이름이고 각 값은 레이블 값입니다. 예를 들어 한 알림에는 foo=bar 레이블이 있고 다른 알림에 foo=baz 레이블이 있을 수 있습니다. 알림에는 foo=bar,bar=baz와 같은 많은 레이블이 있을 수 있지만 foo=bar,foo=baz와 같은 동일한 레이블이 두 번 존재할 수 없습니다. 두 개의 알림에는 동일한 레이블이 있을 수 없으며, 두 개의 알림에 foo=bar,bar=baz 및 foo=bar,bar=baz와 같은 동일한 레이블이 있는 경우 알림 중 하나가 삭제됩니다. 알림 규칙의 조건이 더 이상 충족되지 않거나 알림 규칙이 삭제되면 알림이 해결됩니다.

Grafana 관리형 알림에서 알림은 정상, 보류 중, 알림, 데이터 없음 또는 오류 상태일 수 있습니다. Mimir 및 Loki와 같은 데이터 소스 관리형 알림에서 알림은 정상, 보류 중 및 알림일 수 있지만 NoData 또는 Error일 수는 없습니다.

연락 지점

연락 지점은 알림이 전송되는 위치를 결정합니다. 예를 들어 이메일 주소, Slack, Grafana OnCall 또는 PagerDuty와 같은 인시던트 관리 시스템(IRM) 또는 웹후크로 알림을 보내는 연락 지점이 있을 수 있습니다.

연락 지점에서 전송되는 알림은 알림 템플릿을 사용하여 사용자 지정할 수 있습니다. 알림 템플릿을 사용하여 알림의 제목, 메시지 및 구조를 변경할 수 있습니다. 알림 템플릿은 개별 통합 또는 연락 지점에만 국한되지 않습니다.

알림 정책

알림 정책은 알림을 그룹화한 다음, 연락 지점으로 라우팅합니다. 알림 정책에서는 알림이 전송되는 시기와 알림을 반복해야 하는 빈도를 결정합니다.

알림은 레이블 매처를 사용하여 알림 정책과 일치합니다. 이는 알림의 레이블이 정확히 일치하거나, 정확히 일치하지 않거나, 일부 예상 텍스트를 포함하거나 포함하지 않는 경우 어설션되는 사람이 읽을 수 있는 표현식입니다. 예를 들어, foo=bar 매처는 foo=bar 레이블과 알림을 일치시키는 반면 foo=~[a-zA-Z]+ 매처는 [a-zA-Z]+ 정규식과 일치하는 값을 가진 foo라는 레이블과 알림을 일치시킵니다.

기본적으로 알림은 하나의 알림 정책과만 일치할 수 있습니다. 그러나 continue 기능 알림을 사용하면 여러 알림 정책과 동시에 일치하도록 할 수 있습니다. 알림 정책에 대한 자세한 내용은 알림 정책을 참조하세요.

무음 및 음소거 타이밍

무음 및 음소거 타이밍을 사용하면 특정 알림 또는 전체 알림 정책에 대한 알림을 일시 중지할 수 있습니다. 무음을 사용하여 알림 수정 작업을 하는 동안과 같이 임시로 알림을 일시 중지하고, 음소거 타이밍을 사용하여 정기적으로 예약된 유지 관리 기간 동안과 같이 정기적으로 알림을 일시 중지합니다.