Grafana アラートルールの作成と管理

アラートルールは、アラートを発行するかどうかを判断する評価基準のセットです。アラートルールは、1 つ以上のクエリと式、条件、評価の頻度、およびオプションとしてその条件の持続時間で構成されます。

評価するデータセットを「クエリと式」で選択し、「条件」にアラートがアラートを発行するための基準 (しきい値) を設定します。間隔は、アラートルールが評価される頻度を指定します。「持続時間」を設定した場合、その条件下にある状態の継続時間を示します。また、データがない場合のアラート動作も設定できます。

以下のセクションでは、さまざまな種類の Grafana アラートルールの作成と管理について説明します。

Cortex または Loki 管理のアラートルールの作成

Grafana では、外部の Cortex または Loki インスタンスのアラートルールを作成することができます。

前提条件

Cortex または Loki 管理のレコードルールの作成

外部 Cortex または Loki インスタンスのレコードルールを作成および管理することができます。記録ルールは、頻繁に必要になる式や計算負荷の高い式を事前に計算し、その結果を新しい時系列セットとして保存します。この新しい時系列のクエリは、特にダッシュボードでは、ダッシュボードが更新されるたびに同じ式をクエリするため、より高速になります。

前提条件

Cortex と Loki のデータソースでそれぞれのサービスを設定して Ruler API を有効にします。

Grafana 管理のアラートルールの作成

Grafana では、1 つ以上のデータソースをクエリして結果を集約または変換して、それらを相互に比較したり、固定のしきい値と比較したりするアラートルールを作成することができます。これらが処理された場合、Grafana はコンタクトポイント (通知先) に通知を送信します。

1 次元ルールと多次元ルール

Grafana 管理のアラートルールでは、従来の条件を使用してルールを作成することも、多次元ルールを作成することもできます。

1 次元ルール (従来の条件)

従来の条件式を使用して、条件が満たされたときに単一のアラートを発行するルールを作成します。複数のシリーズを返すクエリの場合、Grafana は各シリーズのアラート状態を追跡しません。そのため、複数のシリーズでアラート条件が満たされた場合でも、Grafana が送信するアラートは 1 件のみです。

式のフォーマット方法の詳細については、Grafana ドキュメントの「式」を参照してください。

多次元ルール

クエリで返されるシリーズごとに個別のアラートインスタンスを生成するには、多次元ルールを作成します。

1 つのルールから複数のインスタンスを作成するには、Math、Reduce、または Resample 式を使用して多次元ルールを作成します。例えば、以下のことが可能です。

多次元ルールのパフォーマンスに関する考慮事項

各アラートインスタンスは、アラートのクォータ (上限数) にカウントされます。アラートの上限数を超えるインスタンスを作成する多次元ルールは評価されず、クォータエラーが返されます。詳細については、「クォータ到達エラー」を参照してください。

多次元アラートは、Grafana ワークスペースや、Grafana がアラートルールを評価するためにクエリを実行するデータソースのパフォーマンスに大きな影響を与える可能性があります。監視システムのパフォーマンスを最適化したい場合、以下の考慮事項を参照してください。

クォータ到達エラー

1 つのワークスペース内に保持できるアラートインスタンスの数にはクォータ (上限) があります。この上限に達した場合、そのワークスペースにこれ以上新たにアラートルールを作成できなくなります。多次元アラートでは、アラートインスタンスの数は時間の経過とともに変動する場合があります。

以下に、アラートインスタンスを使用する際に覚えておくべき重要な点について紹介します。

データがない場合やエラーが発生した場合の対処

データがない場合やエラーが発生した場合のアラート動作の処理方法を選択します。

データがない場合に選択できる処理方法を、以下の表に照会します。

エラーが発生した場合に選択できる処理方法を、以下の表に照会します。

アラートルールの注釈とラベル

注釈とラベルは、アラートルール、データソースのレスポンス、およびアラートルール評価の結果として発生するアラートに関連付けられたキーと値のペアです。これらは、アラート通知の内容として直接使用することも、テンプレートやテンプレート関数で使用して、通知内容を動的に作成することもできます。

注釈

注釈は、アラートに関する追加情報を提供するキーと値のペアです。description、summary、runbook_url、alertId、dashboardUid、panelId の注釈を使用できます。これらは UI のルールとアラートの詳細に表示され、コンタクトポイントのメッセージテンプレートで使用できます。

ラベル

ラベルは、アラートに関する情報を含むキーと値のペアです。アラートのラベルセットは、アラート評価および通知プロセス全体で生成および追加されます。これらは以下の方法で使用されます。

以下に、注釈とラベルを展開する際に使用できる変数を紹介します。

アラートルールの管理

[アラート] ページには、アラートルールが一覧表示されます。デフォルトでは、ルールはデータソースの種類ごとにグループ化されます。Grafana セクションには Grafana によって管理されるルールが一覧表示され、Cortex/Loki セクションには Prometheus 互換データソースのルールが一覧表示されます。Prometheus 互換データソースのアラートルールは表示できますが、編集することはできません。

アラートルールの表示

Grafana アラートを使用すると、すべてのアラートを 1 ページに表示できます。

グループビュー

グループビューには、フォルダ別にグループ化された Grafana アラートルールと、namespace + group 別にグループ化された Loki または Prometheus アラートルールが表示されます。これは、ルールの管理を目的としたデフォルトのルールリストビューです。各グループを展開すると、そのグループ内のルールのリストが表示されます。さらにルールを展開すると、その詳細を見ることができます。また、ルールから生成されたアクションボタンとアラートを展開して、詳細を表示することもできます。

状態ビュー

状態ビューには、アラートルールが状態ごとグループ化されて表示されます。このビューを使用すると、各ルールがどの状態にあるかを一目で確認できます。各ルールは展開して詳細を表示することがでます。アクションボタンとこのルールによって生成されたアラート、および各アラートをさらに展開して詳細を表示することができます。

アラートルールのフィルター

[アラート] ページに表示されるアラートルールは、いくつかの方法でフィルタリングできます。

アラートルールの編集または削除

Grafana管理のアラートルールの編集または削除は、ルールが保存されているフォルダに対する編集権限を持つユーザーのみが行うことができます。外部 Cortex または Loki インスタンスのアラートルールの編集または削除は、エディタまたは管理者ロールを持つユーザーが行うことができます。

Cortex または Loki ルールグループと名前空間

ルールは整理することができます。ルールはルールグループ内に作成され、ルールグループは名前空間に整理されます。ルールグループ内のルールは、一定の間隔で順次実行されます。デフォルトの間隔は 1 分です。また、Cortex または Loki の名前空間とルールグループの名前を変更したり、ルールグループの評価間隔を編集することができます。