翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# Amazon MSK プロビジョニングされたクラスターをモニタリングする
Amazon MSK は、Amazon MSK プロビジョニングされたクラスターの状態をモニタリングする、いくつかの方法を提供します。
+ Amazon MSK は、Apache Kafka メトリクスを収集し、それらを表示できる Amazon CloudWatch に送信します。Amazon MSK が表示するものを含む Apache Kafka メトリクスの詳細については、Apache Kafka ドキュメントの[モニタリング](http://kafka.apache.org/documentation/#monitoring)を参照してください。
+ オープンソースのモニタリングアプリケーションである Prometheus を使用して MSK クラスターをモニタリングすることもできます。Prometheus の詳細については、Prometheus のドキュメントの「[概要](https://prometheus.io/docs/introduction/overview/)」を参照してください。Prometheus を使用して MSK プロビジョンドされた クラスターをモニタリングする方法については、「[Prometheus で MSK プロビジョンドクラスターをモニタリングする](open-monitoring.md)」を参照してください。
+ (標準 ブローカーのみ) Amazon MSK は、プロビジョニングされたクラスターがストレージ容量の制限値に近づいた際に自動的に容量アラートを送信することで、ディスクストレージ容量のモニタリングするのに役立ちます。アラートには、検出された問題に対処するための最善の手順に関する推奨事項も記載されています。これにより、ディスク容量の問題が深刻化する前に特定し、迅速に解決できます。Amazon MSK は、これらのアラートを Amazon [MSK コンソール、Amazon](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/) EventBridge、および AWS アカウントの E メール連絡先に自動的に送信します。 Health Dashboardストレージ容量アラートの引き上げの詳細については、[Amazon MSK ストレージ容量アラートを使用する](cluster-alerts.md) を参照してください。
**Topics**
+ [CloudWatch を使用して Amazon MSK メトリクスを表示する](cloudwatch-metrics.md)
+ [Amazon MSK メトリクスによる CloudWatch を使用した 標準 ブローカーのモニタリング](metrics-details.md)
+ [Amazon MSK メトリクスによる CloudWatch を使用した Express ブローカーのモニタリング](metrics-details-express.md)
+ [Prometheus で MSK プロビジョンドクラスターをモニタリングする](open-monitoring.md)
+ [コンシューマーラグをモニタリングする](consumer-lag.md)
+ [Amazon MSK ストレージ容量アラートを使用する](cluster-alerts.md)
# CloudWatch を使用して Amazon MSK メトリクスを表示する
CloudWatch コンソール、コマンドライン、または CloudWatch API を使用して、Amazon MSK のメトリクスをモニタリングできます。次の手順は、これらのさまざまなメソッドを使用してメトリクスにアクセスする方法を示しています。
**CloudWatch コンソールを使用してメトリクスにアクセスするには**
にサインイン AWS マネジメントコンソール し、[https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/) で CloudWatch コンソールを開きます。
1. ナビゲーションペインで [**Metrics (メトリクス)**] を選択してください。
1. **All metrics** (すべてのメトリクス) タブを選択してから、**AWS/Kafka**を選択します。
1. トピックレベルのメトリクスを表示するには、ブローカーレベルのメトリクスの場合は、[**Topic, Broker ID, Cluster Name (トピック、ブローカー ID、クラスター名)**] を選択し、クラスターレベルのメトリクスの場合は [**Broker ID, Cluster Name (ブローカー ID、クラスター名)**]を選択して、[**Cluster Name (クラスター名)**] を選択します。
1. (オプション) グラフペインで、統計と期間を選択し、これらの設定を使用して CloudWatch アラームを作成します。
**を使用してメトリクスにアクセスするには AWS CLI**
[list-metrics](https://docs.aws.amazon.com/cli/latest/reference/cloudwatch/list-metrics.html) および [get-metric-statistics](https://docs.aws.amazon.com/cli/latest/reference/cloudwatch/get-metric-statistics.html) コマンドを使用します。
**CloudWatch CLI を使用してメトリクスにアクセスするには**
[mon-list-metrics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/cli/cli-mon-list-metrics.html) コマンドと [mon-get-stats](https://docs.aws.amazon.com/AmazonCloudWatch/latest/cli/cli-mon-get-stats.html) コマンドを使用します。
**CloudWatch API を使用してメトリクスにアクセスするには**
[ListMetrics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_ListMetrics.html) オペレーションと [GetMetricStatistics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_GetMetricStatistics.html) オペレーションを使用します。
# Amazon MSK メトリクスによる CloudWatch を使用した 標準 ブローカーのモニタリング
Amazon MSK は Amazon CloudWatch と連携するため、MSK 標準ブローカーの CloudWatch メトリクスを収集、表示、分析できます。MSK プロビジョニングされた クラスター に対して設定したメトリクスは、1分間隔で自動的に収集され、CloudWatch に送信されます。MSK プロビジョニング済みクラスターの監視レベルを設定できます。`DEFAULT`、`PER_BROKER`、`PER_TOPIC_PER_BROKER`または `PER_TOPIC_PER_PARTITION`。次のセクションの表は、各モニタリングレベルから利用できるすべてのメトリクスを示しています。
**注記**
CloudWatch モニタリング用の一部の Amazon MSK メトリクスの名前は、バージョン 3.6.0 以降で変更されています。これらのメトリクスをモニタリングするには、新しい名前を使用してください。名前が変更されたメトリクスの場合、以下の表にはバージョン 3.6.0 以降で使用されていた名前と、その後にバージョン 2.8.2.tiered の名前が続きます。
`DEFAULT` レベルのメトリクスは無料です。他のメトリクスの料金については、[Amazon CloudWatch の料金](https://aws.amazon.com/cloudwatch/pricing/)ページで説明されています。
## `DEFAULT` レベルモニタリング
次の表で説明するメトリクスは、`DEFAULT` モニタリングレベルで使用できます。これらは無料です。
| 名前 | 表示可能なタイミング | ディメンション | 説明 |
| --- | --- | --- | --- |
| ActiveControllerCount | クラスターが ACTIVE 状態になった後。 | クラスター名 | クラスターごとに 1 つのコントローラーだけをアクティブにする必要があります。 |
| BurstBalance | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | クラスター内の EBS ボリュームの入出力バーストクレジットの残高。これを使用して、レイテンシーまたはスループットの低下を調査します。 ボリュームのベースラインパフォーマンスが最大バーストパフォーマンスより高い場合、EBS ボリュームの `BurstBalance` は報告されません。詳細については、「[I/O クレジットおよびバーストパフォーマンス](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-volume-types.html#IOcredit)」を参照してください。 |
| BytesInPerSec | トピックを作成した後。 | クラスター名、ブローカー ID、トピック | クライアントから受信した 1 秒あたりのバイト数。このメトリクスは、ブローカーごとおよびトピックごとに利用できます。 |
| BytesOutPerSec | トピックを作成した後。 | クラスター名、ブローカー ID、トピック | クライアントに送信された 1 秒あたりのバイト数。このメトリクスは、ブローカーごとおよびトピックごとに利用できます。 |
| ClientConnectionCount | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID、クライアント認証 | アクティブな認証済みクライアント接続の数。 |
| ConnectionCount | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | アクティブな認証済み接続、未認証接続、およびブローカー間接続の数。 |
| CPUCreditBalance | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーの起動後に蓄積した獲得 CPU クレジットの数。クレジットは獲得後にクレジット残高に蓄積され、消費されるとクレジット残高から削除されます。CPU クレジット残高が不足した場合、クラスターのパフォーマンスに悪影響を与える可能性があります。CPU ロードを軽減するためのステップを実行できます。例えば、クライアント要求の数を減らしたり、ブローカータイプを M5 ブローカータイプに更新したりできます。 |
| CpuIdle | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | CPU アイドル時間の割合。 |
| CpuIoWait | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | 保留中のディスクオペレーション中の CPU アイドル時間の割合 (%)。 |
| CpuSystem | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | カーネルスペースの CPU の割合。 |
| CpuUser | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ユーザースペースの CPU の割合。 |
| GlobalPartitionCount | クラスターが ACTIVE 状態になった後。 | クラスター名 | クラスター内のすべてのトピック全体のパーティション数 (レプリカを除く)。GlobalPartitionCount にはレプリカが含まれていないため、トピックのレプリケーション係数が 1 より大きい場合、PartitionCount 値の合計が GlobalPartitionCount より大きくなる可能性があります。 |
| GlobalTopicCount | クラスターが ACTIVE 状態になった後。 | クラスター名 | クラスター内のすべてのブローカーのトピックの合計数。 |
| EstimatedMaxTimeLag\$1 | コンシューマーグループがトピックから消費した後。 | クラスター名、コンシューマーグループ、トピック | MaxOffsetLag を排出するための推定時間 (秒単位)。 |
| KafkaAppLogsDiskUsed | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | アプリケーションログに使用されるディスク領域の割合。 |
| KafkaDataLogsDiskUsed (Cluster Name, Broker ID ディメンション) | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | データログに使用されるディスク容量の割合。 |
| LeaderCount | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | レプリカを含まない、ブローカーごとのパーティションのリーダーの総数。 |
| MaxOffsetLag\$1 | コンシューマーグループがトピックから消費した後。 | クラスター名、コンシューマーグループ、トピック | トピック内のすべてのパーティションにおける最大オフセットラグ。 |
| MemoryBuffered | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのバッファーメモリーのサイズ (バイト単位)。 |
| MemoryCached | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのキャッシュメモリーのサイズ (バイト単位)。 |
| MemoryFree | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーが使用可能な空きメモリのサイズ (バイト単位)。 |
| HeapMemoryAfterGC | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ガベージコレクション後に使用されている合計ヒープメモリの割合 (%)。 |
| MemoryUsed | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーに使用されているメモリのサイズ (バイト単位)。 |
| MessagesInPerSec | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーの 1 秒あたりの受信メッセージ数。 |
| NetworkRxDropped | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ドロップされた受信パッケージの数。 |
| NetworkRxErrors | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのネットワーク受信エラーの数。 |
| NetworkRxPackets | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーによって受信されたパケットの数。 |
| NetworkTxDropped | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ドロップされた送信パッケージの数。 |
| NetworkTxErrors | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのネットワーク送信エラーの数。 |
| NetworkTxPackets | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーによって送信されたパケットの数。 |
| OfflinePartitionsCount | クラスターが ACTIVE 状態になった後。 | クラスター名 | クラスター内でオフラインになっているパーティションの合計数。 |
| PartitionCount | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | レプリカを含む、ブローカーごとのトピックパーティションの総数。 |
| ProduceTotalTimeMsMean | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ミリ秒単位の平均生成時間。 |
| RequestBytesMean | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのリクエストバイトの平均数。 |
| RequestTime | リクエストスロットリングが適用された後。 | クラスター名、ブローカー ID | ブローカーネットワークおよび I/O スレッドでリクエストを処理するのに費やされた平均時間 (ミリ秒)。 |
| RootDiskUsed | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーが使用するルートディスクの割合。 |
| RollingEstimatedTimeLagMax\$1 | コンシューマーグループがトピックから消費した後。 | クラスター名、コンシューマーグループ、トピック | トピック内のすべてのパーティションでパーティションオフセットラグをドレインするための最大推定時間 (秒単位）。 |
| SumOffsetLag\$1 | コンシューマーグループがトピックから消費した後。 | クラスター名、コンシューマーグループ、トピック | トピック内のすべてのパーティションの集計オフセットラグ。 |
| SwapFree | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーで使用可能なスワップメモリのサイズ (バイト単位)。 |
| SwapUsed | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーに使用されているスワップメモリのサイズ (バイト単位)。 |
| TrafficShaping | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ネットワーク割り当てを超えたためにシェイピングされた (ドロップされた、またはキューに入れられた) パケットの数を示す高レベルのメトリクス。PER\$1BROKER メトリクスを使用すると、より詳細な情報を利用できます。 |
| UnderMinIsrPartitionCount | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーの minIsr 未満パーティションの数。 |
| UnderReplicatedPartitions | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのレプリケートされていないパーティションの数。 |
| UserPartitionExists | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーにユーザー所有のパーティションが存在することを示すブールメトリクス。値 1 は、ブローカーにパーティションが存在することを示します。 |
| ZooKeeperRequestLatencyMsMean | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ZooKeeper ベースのクラスターの場合。ブローカーからの Apache ZooKeeper リクエストの平均レイテンシー (ミリ秒)。 |
| ZooKeeperSessionState | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ZooKeeper ベースのクラスターの場合。ブローカーの ZooKeeper セッションの接続状態は、次のいずれかになります。NOT\$1CONNECTED: '0.0'、ASSOCIATING: '0.1'、CONNECTING: '0.5'、CONNECTEDREADONLY: '0.8'、CONNECTED: '1.0'、CLOSED: '5.0'、AUTH\$1FAILED: '10.0'。 |
\$1 コンシューマーラグメトリクスには、ASCII のみのコンシューマーグループ名が必要で、特定の放出要件があります。詳細については、「[コンシューマーラグをモニタリングする](consumer-lag.md)」を参照してください。
## `PER_BROKER` レベルモニタリング
モニタリングレベルを `PER_BROKER` に設定すると、すべての `DEFAULT` レベルメトリクスに加えて、次の表で説明するメトリクスが表示されます。次の表に示すメトリクスに対して料金をお支払いいただきますが、`DEFAULT` レベルメトリクスは引き続き無料です。この表のメトリクスには、クラスター名、ブローカー ID のディメンションがあります。
| 名前 | 表示可能なタイミング | 説明 |
| --- | --- | --- |
| BwInAllowanceExceeded | クラスターが ACTIVE 状態になった後。 | インバウンド集約帯域幅がブローカーの最大値を超えたために形成されたパケットの数。 |
| BwOutAllowanceExceeded | クラスターが ACTIVE 状態になった後。 | アウトバウンド集約帯域幅がブローカーの最大値を超えたために形成されたパケットの数。 |
| ConntrackAllowanceExceeded | クラスターが ACTIVE 状態になった後。 | 接続追跡がブローカーの最大値を超えたために形成されたパケットの数。接続追跡は、確立された各接続を追跡するセキュリティグループに関連しており、リターンパケットが期待どおりに配信されるようにします。 |
| ConnectionCloseRate | クラスターが ACTIVE 状態になった後。 | リスナーごとの 1 秒あたりに閉じられた接続の数。この数はリスナーごとに集計され、クライアントリスナー用にフィルタリングされます。 |
| ConnectionCreationRate | クラスターが ACTIVE 状態になった後。 | リスナーごとに 1 秒あたりに確立された新しい接続の数。この数はリスナーごとに集計され、クライアントリスナー用にフィルタリングされます。 |
| CpuCreditUsage | クラスターが ACTIVE 状態になった後。 | ブローカーで消費された CPU クレジットの数。CPU クレジット残高が不足した場合、クラスターのパフォーマンスに悪影響を与える可能性があります。CPU ロードを軽減するためのステップを実行できます。例えば、クライアント要求の数を減らしたり、ブローカータイプを M5 ブローカータイプに更新したりできます。 |
| FetchConsumerLocalTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーのリクエストがリーダーで処理される平均時間 (ミリ秒)。 |
| FetchConsumerRequestQueueTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーのリクエストがリクエストキューで待機する平均時間 (ミリ秒)。 |
| FetchConsumerResponseQueueTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーのリクエストが応答キューで待機する平均時間 (ミリ秒)。 |
| FetchConsumerResponseSendTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーが応答を送信するための平均時間 (ミリ秒)。 |
| FetchConsumerTotalTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーがブローカーからデータを取得するのに費やす平均合計時間 (ミリ秒)。 |
| FetchFollowerLocalTimeMsMean | プロデューサー/コンシューマーがいる後。 | リーダーでフォロワーのリクエストが処理される平均時間 (ミリ秒)。 |
| FetchFollowerRequestQueueTimeMsMean | プロデューサー/コンシューマーがいる後。 | フォロワーのリクエストがリクエストキューで待機する平均時間 (ミリ秒)。 |
| FetchFollowerResponseQueueTimeMsMean | プロデューサー/コンシューマーがいる後。 | フォロワーの要求が応答キューで待機する平均時間 (ミリ秒)。 |
| FetchFollowerResponseSendTimeMsMean | プロデューサー/コンシューマーがいる後。 | フォロワーが応答を送信するまでの平均時間 (ミリ秒)。 |
| FetchFollowerTotalTimeMsMean | プロデューサー/コンシューマーがいる後。 | フォロワーがブローカーからデータを取得するのに費やす平均合計時間 (ミリ秒)。 |
| FetchMessageConversionsPerSec | トピックを作成した後。 | ブローカーの 1 秒あたりのフェッチメッセージ変換回数。 |
| FetchThrottleByteRate | 帯域幅スロットリングが適用された後。 | 1 秒あたりのスロットルバイト数。 |
| FetchThrottleQueueSize | 帯域幅スロットリングが適用された後。 | スロットルキュー内のメッセージ数。 |
| FetchThrottleTime | 帯域幅スロットリングが適用された後。 | フェッチスロットルの平均時間 (ミリ秒単位)。 |
| IAMNumberOfConnectionRequests | クラスターが ACTIVE 状態になった後。 | 1 秒あたりの IAM 認証リクエスト数。 |
| IAMTooManyConnections | クラスターが ACTIVE 状態になった後。 | 試行された 100 を超える接続の数。0 は、接続数が制限内であることを意味します。>0 の場合、スロットル制限を超えているため、接続数を減らす必要があります。 |
| LinklocalAllowanceExceeded | クラスターが ACTIVE 状態になった後。 | ローカルプロキシサービスへのトラフィックの PPS がネットワークインターフェイスの最大値を超えたためにドロップされたパケットの数。これは、DNS サービス、インスタンスメタデータサービス、および Amazon Time Sync Service へのトラフィックに影響します。 |
| NetworkProcessorAvgIdlePercent | クラスターが ACTIVE 状態になった後。 | ネットワークプロセッサがアイドル状態の平均時間の割合。 |
| PpsAllowanceExceeded | クラスターが ACTIVE 状態になった後。 | 双方向 PPS がブローカーの最大値を超えたために形成されたパケットの数。 |
| ProduceLocalTimeMsMean | クラスターが ACTIVE 状態になった後。 | リーダーでリクエストが処理される平均時間 (ミリ秒単位)。 |
| ProduceMessageConversionsPerSec | トピックを作成した後。 | ブローカーの 1 秒あたりの生成メッセージ変換回数。 |
| ProduceMessageConversionsTimeMsMean | クラスターが ACTIVE 状態になった後。 | メッセージ形式の変換に費やされた平均時間 (ミリ秒)。 |
| ProduceRequestQueueTimeMsMean | クラスターが ACTIVE 状態になった後。 | リクエストメッセージがキューに費やした平均時間 (ミリ秒)。 |
| ProduceResponseQueueTimeMsMean | クラスターが ACTIVE 状態になった後。 | 応答メッセージがキューに費やした平均時間 (ミリ秒)。 |
| ProduceResponseSendTimeMsMean | クラスターが ACTIVE 状態になった後。 | 応答メッセージの送信に費やされた平均時間 (ミリ秒)。 |
| ProduceThrottleByteRate | 帯域幅スロットリングが適用された後。 | 1 秒あたりのスロットルバイト数。 |
| ProduceThrottleQueueSize | 帯域幅スロットリングが適用された後。 | スロットルキュー内のメッセージ数。 |
| ProduceThrottleTime | 帯域幅スロットリングが適用された後。 | 平均生成スロットル時間 (ミリ秒単位)。 |
| ProduceTotalTimeMsMean | クラスターが ACTIVE 状態になった後。 | ミリ秒単位の平均生成時間。 |
| `RemoteFetchBytesPerSec (RemoteBytesInPerSec in v2.8.2.tiered)` | プロデューサー/コンシューマーが出現した後。 | コンシューマーフェッチへのレスポンスで階層型ストレージから転送された合計バイト数。このメトリクスには、ダウンストリームのデータ転送トラフィックの一因となるすべてのトピックパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteCopyBytesPerSec (RemoteBytesOutPerSec in v2.8.2.tiered) | プロデューサー/コンシューマーが出現した後。 | 階層型ストレージに転送された合計バイト数 (ログセグメント、インデックス、その他の補助ファイルからのデータを含む)。このメトリクスには、アップストリームのデータ転送トラフィックの一因となるすべてのトピックパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteLogManagerTasksAvgIdlePercent | クラスターが ACTIVE 状態になった後。 | リモートログマネージャーがアイドル状態であった時間の割合 (%) の平均。リモートログマネージャーは、ブローカーから階層型ストレージにデータを転送します。カテゴリ: 内部アクティビティ。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteLogReaderAvgIdlePercent | クラスターが ACTIVE 状態になった後。 | リモートログリーダーがアイドル状態であった時間の割合 (%) の平均。リモートログリーダーは、コンシューマーフェッチへのレスポンスで、リモートストレージからブローカーにデータを転送します。カテゴリ: 内部アクティビティ。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteLogReaderTaskQueueSize | クラスターが ACTIVE 状態になった後。 | 階層型ストレージからの読み取りを担当し、スケジュール待ちのタスクの数。カテゴリ: 内部アクティビティ。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteFetchErrorsPerSec (RemoteReadErrorPerSec in v2.8.2.tiered) | クラスターが ACTIVE 状態になった後。 | 指定されたブローカーがコンシューマーフェッチへのレスポンスでデータを取得するために階層型ストレージに送信した読み取りリクエストに対するレスポンスでの合計エラー率。このメトリクスには、ダウンストリームのデータ転送トラフィックの一因となるすべてのトピックパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteFetchRequestsPerSec (RemoteReadRequestsPerSec in v2.8.2.tiered) | クラスターが ACTIVE 状態になった後。 | 指定されたブローカーがコンシューマーフェッチへのレスポンスでデータを取得するために階層型ストレージに送信した読み取りリクエストの合計数。このメトリクスには、ダウンストリームのデータ転送トラフィックの一因となるすべてのトピックパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteCopyErrorsPerSec (RemoteWriteErrorPerSec in v2.8.2.tiered) | クラスターが ACTIVE 状態になった後。 | 指定されたブローカーがデータをアップストリームに転送するために階層型ストレージに送信した書き込みリクエストに対するレスポンスでの合計エラー率。このメトリクスには、アップストリームのデータ転送トラフィックの一因となるすべてのトピックパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteLogSizeBytes | クラスターが ACTIVE 状態になった後。 | リモート階層に保存されているバイト数。 このメトリクスは、Amazon MSK の Apache Kafka バージョン 3.7.x の階層型ストレージクラスターで使用できます。 |
| ReplicationBytesInPerSec | トピックを作成した後。 | 他のブローカーから受信した 1 秒あたりのバイト数。 |
| ReplicationBytesOutPerSec | トピックを作成した後。 | 他のブローカーに送信された 1 秒あたりのバイト数。 |
| RequestExemptFromThrottleTime | リクエストスロットリングが適用された後。 | ブローカーネットワークおよび I/O スレッドで、スロットリングから除外されたリクエストを処理するのに費やされた平均時間 (ミリ秒)。 |
| RequestHandlerAvgIdlePercent | クラスターが ACTIVE 状態になった後。 | リクエストハンドラーのスレッドがアイドル状態の平均時間の割合。 |
| RequestThrottleQueueSize | リクエストスロットリングが適用された後。 | スロットルキュー内のメッセージ数。 |
| RequestThrottleTime | リクエストスロットリングが適用された後。 | リクエストスロットルの平均時間 (ミリ秒単位)。 |
| TcpConnections | クラスターが ACTIVE 状態になった後。 | SYN フラグが設定された着信および発信 TCP セグメントの数を表示します。 |
| RemoteCopyLagBytes (TotalTierBytesLag in v2.8.2.tiered) | トピックを作成した後。 | ブローカーで階層化の対象になっているが、まだ階層型ストレージに転送されていないデータの合計バイト数。このメトリクスは、アップストリームのデータ転送の効率を示します。ラグが大きくなると、階層型ストレージに保持されないデータの量が増えます。カテゴリ: アーカイブラグ。これは KIP-405 メトリクスではありません。 |
| TrafficBytes | クラスターが ACTIVE 状態になった後。 | クライアント (プロデューサーとコンシューマー) とブローカー間のネットワークトラフィックを全体のバイト数で表示します。ブローカー間のトラフィックは報告されません。 |
| VolumeQueueLength | クラスターが ACTIVE 状態になった後。 | 指定された期間内に完了するのを待機している読み取りおよび書き込みオペレーション要求の数。 |
| VolumeReadBytes | クラスターが ACTIVE 状態になった後。 | 指定された期間に読み取られたバイト数。 |
| VolumeReadOps | クラスターが ACTIVE 状態になった後。 | 指定された期間内の読み取りオペレーションの数。 |
| VolumeTotalReadTime | クラスターが ACTIVE 状態になった後。 | 指定された期間内に完了したすべての読み取りオペレーションに費やされた合計秒数。 |
| VolumeTotalWriteTime | クラスターが ACTIVE 状態になった後。 | 指定された期間内に完了したすべての書き込みオペレーションに費やされた合計秒数。 |
| VolumeWriteBytes | クラスターが ACTIVE 状態になった後。 | 指定された期間に書き込まれたバイト数。 |
| VolumeWriteOps | クラスターが ACTIVE 状態になった後。 | 指定された期間内の書き込みオペレーションの数。 |
## `PER_TOPIC_PER_BROKER` レベルモニタリング
モニタリングレベルを `PER_TOPIC_PER_BROKER` に設定すると、`PER_BROKER` および DEFAULT レベルのすべてのメトリクスに加えて、次の表で説明するメトリクスを取得します。`DEFAULT` レベルメトリクスのみが無料です。この表のメトリクスには、クラスター名、ブローカー ID、トピックのディメンションがあります。
**重要**
Apache Kafka 2.4.1 以降のバージョンを使用する Amazon MSK クラスターの場合、次の表のメトリクスは、値が初めてゼロ以外になった後にのみ表示されます。たとえば、`BytesInPerSec` を表示するには、1 つ以上のプロデューサーが最初にクラスターにデータを送信する必要があります。
| 名前 | 表示可能なタイミング | 説明 |
| --- | --- | --- |
| FetchMessageConversionsPerSec | トピックを作成した後。 | 1 秒あたりに変換されたフェッチ済みメッセージの数。 |
| MessagesInPerSec | トピックを作成した後。 | 1 秒あたりに受信したメッセージ数。 |
| ProduceMessageConversionsPerSec | トピックを作成した後。 | 生成されたメッセージの 1 秒あたりの変換回数。 |
| RemoteFetchBytesPerSec (RemoteBytesInPerSec in v2.8.2.tiered) | トピックを作成して、そのトピックが生成/消費中。 | 指定されたトピックとブローカーに対するコンシューマーフェッチへのレスポンスで階層型ストレージから転送されたバイト数。このメトリクスには、指定されたブローカーでのダウンストリームのデータ転送トラフィックの一因となるトピックのすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteCopyBytesPerSec (RemoteBytesOutPerSec in v2.8.2.tiered) | トピックを作成して、そのトピックが生成/消費中。 | 指定されたトピックとブローカーで階層型ストレージに転送されたバイト数。このメトリクスには、指定されたブローカーでのアップストリームのデータ転送トラフィックの一因となるトピックのすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteFetchErrorsPerSec (RemoteReadErrorPerSec in v2.8.2.tiered) | トピックを作成して、そのトピックが生成/消費中。 | 指定されたブローカーが指定されたトピックでのコンシューマーフェッチへのレスポンスでデータを取得するために階層型ストレージに送信した読み取りリクエストに対するレスポンスでのエラー率。このメトリクスには、指定されたブローカーでのダウンストリームのデータ転送トラフィックの一因となるトピックのすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteFetchRequestsPerSec (RemoteReadRequestsPerSec in v2.8.2.tiered) | トピックを作成して、そのトピックが生成/消費中。 | 指定されたブローカーが指定されたトピックでのコンシューマーフェッチへのレスポンスでデータを取得するために階層型ストレージに送信した読み取りリクエストの数。このメトリクスには、指定されたブローカーでのダウンストリームのデータ転送トラフィックの一因となるトピックのすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteCopyErrorsPerSec (RemoteWriteErrorPerSec in v2.8.2.tiered) | トピックを作成して、そのトピックが生成/消費中。 | 指定されたブローカーがデータをアップストリームに転送するために階層型ストレージに送信した書き込みリクエストに対するレスポンスでのエラー率。このメトリクスには、指定されたブローカーでのアップストリームのデータ転送トラフィックの一因となるトピックのすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage) メトリクスです。 |
| RemoteLogSizeBytes | トピックを作成した後。 | リモート階層に保存されているバイト数。 このメトリクスは、Amazon MSK の Apache Kafka バージョン 3.7.x の階層型ストレージクラスターで使用できます。 |
## `PER_TOPIC_PER_PARTITION` レベルモニタリング
モニタリングレベルを `PER_TOPIC_PER_PARTITION` に設定すると、`PER_TOPIC_PER_BROKER`、`PER_BROKER`、および DEFAULT レベルのすべてのメトリクスに加えて、次の表で説明するメトリクスが取得されます。`DEFAULT` レベルメトリクスのみが無料です。この表のメトリクスには、コンシューマーグループ、トピック、パーティションのディメンションがあります。
| 名前 | 表示可能なタイミング | 説明 |
| --- | --- | --- |
| EstimatedTimeLag\$1 | コンシューマーグループがトピックから消費した後。 | パーティションオフセットラグを排出するための推定時間 (秒単位)。 |
| OffsetLag\$1 | コンシューマーグループがトピックから消費した後。 | オフセット数のパーティションレベルのコンシューマーラグ。 |
| RollingEstimatedTimeLag\$1 | コンシューマーグループがトピックから消費した後。 | パーティションオフセットラグをドレインするためのローリング時間の推定 (秒単位）。 |
\$1 コンシューマーラグメトリクスには、ASCII のみのコンシューマーグループ名が必要で、特定の放出要件があります。詳細については、「[コンシューマーラグをモニタリングする](consumer-lag.md)」を参照してください。
# MSK プロビジョンドクラスターの状態を理解する
次の表は、MSK プロビジョニングされたクラスターの可能な状態を示し、それらの意味を説明します。特に指定がない限り、MSK プロビジョンド クラスターの状態は、標準 ブローカータイプと Express ブローカータイプの両方に適用されます。この表では、MSK プロビジョニングされた クラスター がこれらの状態のいずれかにある場合、実行できる操作および実行できない操作についても説明しています。クラスターの状態を確認するには、 AWS マネジメントコンソールにアクセスします。また、[describe-cluster-v2](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/kafka/describe-cluster-v2.html) コマンドまたは [DescribeClusterV2](https://docs.aws.amazon.com/MSK/2.0/APIReference/v2-clusters-clusterarn.html#DescribeClusterV2) オペレーションを使用してプロビジョニングされたクラスターの詳細を表示することもできます。クラスターの説明に、クラスターの状態が含まれます。
****
| MSK プロビジョンドクラスターの状態 | 意味と実行可能なアクション |
| --- | --- |
| アクティブ | データを生成および消費できます。クラスターで Amazon MSK API および AWS CLI オペレーションを実行することもできます。 |
| [CREATING] (作成中) | Amazon MSK はクラスターをセットアップしています。Amazon MSK はプロビジョニングされたクラスターを設定中です。クラスターが ACTIVE 状態になるまで待ってから、クラスターを使用してデータを生成または消費したり、Amazon MSK API または AWS CLI オペレーションを実行したりできます。 |
| 削除中 | プロビジョニングされたクラスターが削除されています。クラスターを使用してデータを生成したり消費したりすることはできません。また、Amazon MSK API または AWS CLI オペレーションを実行することはできません。 |
| FAILED | プロビジョニングされたクラスターの作成または削除プロセスは失敗しました。クラスターを使用してデータを生成したり消費したりすることはできません。クラスターを削除することはできますが、Amazon MSK API を実行したり、クラスターに対してオペレーション AWS CLI を更新したりすることはできません。 |
| HEALING | Amazon MSK は、異常なブローカーの交換などの内部オペレーションを実行しています。例えば、ブローカーが応答しない場合があります。プロビジョニングされたクラスターを使用してデータの生成と消費を実行することは可能です。ただし、クラスターが ACTIVE 状態に戻るまで、Amazon MSK API を実行したり、クラスターでオペレーション AWS CLI を更新したりすることはできません。 |
| MAINTENANCE | (標準ブローカーのみ) Amazon MSK はクラスターの定期メンテナンス作業を実行中です。このようなメンテナンスオペレーションには、セキュリティパッチの適用が含まれます。引き続き、クラスターを使用してデータを生成し、消費することができます。ただし、クラスターが ACTIVE AWS 状態に戻るまで、クラスターで Amazon MSK API または CLI 更新オペレーションを実行することはできません。Express ブローカーのメンテナンス中、クラスターの状態は ACTIVE のままです。「[MSK プロビジョンド クラスターへのパッチ適用](patching-impact.md)」を参照してください。 |
| REBOOTING\$1BROKER | Amazon MSK はブローカーを再起動しています。プロビジョニングされたクラスターを使用してデータの生成と消費を実行することは可能です。ただし、クラスターが ACTIVE 状態に戻るまで、Amazon MSK API を実行したり、クラスターでオペレーション AWS CLI を更新したりすることはできません。 |
| [UPDATING] (更新中) | ユーザー主導の Amazon MSK API または AWS CLI オペレーションは、プロビジョニングされたクラスターを更新しています。プロビジョニングされたクラスターを使用してデータの生成と消費を実行することは可能です。ただし、クラスターが ACTIVE 状態に戻るまで、クラスターで追加の Amazon MSK API または AWS CLI 更新オペレーションを実行することはできません。 |
# Amazon MSK メトリクスによる CloudWatch を使用した Express ブローカーのモニタリング
Amazon MSK は CloudWatch と連携するため、MSK Express ブローカーの CloudWatch メトリクスを収集、表示、分析できます。MSK プロビジョニングされた クラスター に対して設定したメトリクスは、1分間隔で自動的に収集され、CloudWatch に送信されます。MSK プロビジョニング済みクラスターの監視レベルを設定できます。`DEFAULT`、`PER_BROKER`、`PER_TOPIC_PER_BROKER`または `PER_TOPIC_PER_PARTITION`。次のセクションの表は、各モニタリングレベルから利用開始可能なメトリクスを示しています。
`DEFAULT` レベルのメトリクスは無料です。他のメトリクスの料金については、[Amazon CloudWatch の料金](https://aws.amazon.com/cloudwatch/pricing/)ページで説明されています。
## Express ブローカーの `DEFAULT` レベルモニタリング
次の表に記載されているメトリクスは、`DEFAULT`モニタリングレベルにおいて無料で利用可能です。
| 名前 | 表示可能なタイミング | ディメンション | 説明 |
| --- | --- | --- | --- |
| ActiveControllerCount | クラスターが ACTIVE 状態になった後。 | クラスター名 | クラスターごとに 1 つのコントローラーだけをアクティブにする必要があります。 |
| BytesInPerSec | トピックを作成した後。 | クラスター名、ブローカー ID、トピック | クライアントから受信した 1 秒あたりのバイト数。このメトリクスは、ブローカーごとおよびトピックごとに利用できます。 |
| BytesOutPerSec | トピックを作成した後。 | クラスター名、ブローカー ID、トピック | クライアントに送信された 1 秒あたりのバイト数。このメトリクスは、ブローカーごとおよびトピックごとに利用できます。 |
| ClientConnectionCount | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID、クライアント認証 | アクティブな認証済みクライアント接続の数。 |
| ConnectionCount | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | アクティブな認証済み接続、未認証接続、およびブローカー間接続の数。 |
| CpuIdle | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | CPU アイドル時間の割合。 |
| CpuSystem | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | カーネルスペースの CPU の割合。 |
| CpuUser | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ユーザースペースの CPU の割合。 |
| GlobalPartitionCount | クラスターが ACTIVE 状態になった後。 | クラスター名 | クラスター内のすべてのトピック全体のパーティション数 (レプリカを除く)。`GlobalPartitionCount`レプリカを含まないため、`GlobalPartitionCount`トピックのレプリケーション係数がより大きい場合`1`と比較して、`PartitionCount`値の合計がより高くなる可能性があります。 |
| GlobalTopicCount | クラスターが ACTIVE 状態になった後。 | クラスター名 | クラスター内のすべてのブローカーのトピックの合計数。 |
| EstimatedMaxTimeLag\$1 | コンシューマーグループがトピックから消費した後。 | コンシューマーグループ、トピック | `MaxOffsetLag` を排出するための推定時間 (秒単位)。 |
| LeaderCount | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | レプリカを含まない、ブローカーごとのパーティションのリーダーの総数。 |
| MaxOffsetLag\$1 | コンシューマーグループがトピックから消費した後。 | コンシューマーグループ、トピック | トピック内のすべてのパーティションにわたる最大オフセットラグ。 |
| MemoryBuffered | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのバッファーメモリーのサイズ (バイト単位)。 |
| MemoryCached | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのキャッシュメモリーのサイズ (バイト単位)。 |
| MemoryFree | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーが使用可能な空きメモリのサイズ (バイト単位)。 |
| MemoryUsed | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーに使用されているメモリのサイズ (バイト単位)。 |
| MessagesInPerSec | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーの 1 秒あたりの受信メッセージ数。 |
| NetworkRxDropped | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ドロップされた受信パッケージの数。 |
| NetworkRxErrors | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのネットワーク受信エラーの数。 |
| NetworkRxPackets | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーによって受信されたパケットの数。 |
| NetworkTxDropped | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ドロップされた送信パッケージの数。 |
| NetworkTxErrors | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのネットワーク送信エラーの数。 |
| NetworkTxPackets | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーによって送信されたパケットの数。 |
| PartitionCount | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | レプリカを含む、ブローカーごとのトピックパーティションの総数。 |
| ProduceTotalTimeMsMean | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ミリ秒単位の平均生成時間。 |
| RequestBytesMean | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーのリクエストバイトの平均数。 |
| RequestTime | リクエストスロットリングが適用された後。 | クラスター名、ブローカー ID | ブローカーネットワークおよび I/O スレッドでリクエストを処理するのに費やされた平均時間 (ミリ秒)。 |
| RollingEstimatedTimeLagMax\$1 | コンシューマーグループがトピックから消費した後。 | コンシューマーグループ、トピック | トピック内のすべてのパーティションでパーティションオフセットラグをドレインするための最大推定時間 (秒単位）。 |
| ストレージ使用量 | クラスターが ACTIVE 状態になった後。 | クラスター名 | クラスタ内のすべてのパーティションで使用されているストレージの合計 (レプリカを除く)。 |
| SumOffsetLag\$1 | コンシューマーグループがトピックから消費した後。 | コンシューマーグループ、トピック | トピックのすべてのパーティションの集計されたオフセットラグ。 |
| UserPartitionExists | クラスターが ACTIVE 状態になった後。 | クラスター名、ブローカー ID | ブローカーにユーザー所有のパーティションが存在することを示すブールメトリクス。値 1 は、ブローカーにパーティションが存在することを示します。 |
\$1 コンシューマーラグメトリクスには、ASCII のみのコンシューマーグループ名が必要で、特定の放出要件があります。詳細については、「[コンシューマーラグをモニタリングする](consumer-lag.md)」を参照してください。
## Express ブローカーの `PER_BROKER` レベルモニタリング
モニタリングレベルを `PER_BROKER` に設定すると、すべての `DEFAULT` レベルメトリクスに加えて、次の表で説明するメトリクスが表示されます。次の表に記載されているメトリクスは有料となりますが、 `DEFAULT` レベル メトリクスは引き続き無料です。この表のメトリクスには、クラスター名、ブローカー ID のディメンションがあります。
| 名前 | 表示可能なタイミング | 説明 |
| --- | --- | --- |
| ConnectionCloseRate | クラスターが ACTIVE 状態になった後。 | リスナーごとの 1 秒あたりに閉じられた接続の数。この数はリスナーごとに集計され、クライアントリスナー用にフィルタリングされます。 |
| ConnectionCreationRate | クラスターが ACTIVE 状態になった後。 | リスナーごとに 1 秒あたりに確立された新しい接続の数。この数はリスナーごとに集計され、クライアントリスナー用にフィルタリングされます。 |
| FetchConsumerLocalTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーのリクエストがリーダーで処理される平均時間 (ミリ秒)。 |
| FetchConsumerRequestQueueTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーのリクエストがリクエストキューで待機する平均時間 (ミリ秒)。 |
| FetchConsumerResponseQueueTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーのリクエストが応答キューで待機する平均時間 (ミリ秒)。 |
| FetchConsumerResponseSendTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーが応答を送信するための平均時間 (ミリ秒)。 |
| FetchConsumerTotalTimeMsMean | プロデューサー/コンシューマーがいる後。 | コンシューマーがブローカーからデータを取得するのに費やす平均合計時間 (ミリ秒)。 |
| FetchFollowerLocalTimeMsMean | プロデューサー/コンシューマーがいる後。 | リーダーでフォロワーのリクエストが処理される平均時間 (ミリ秒)。 |
| FetchFollowerRequestQueueTimeMsMean | プロデューサー/コンシューマーがいる後。 | フォロワーのリクエストがリクエストキューで待機する平均時間 (ミリ秒)。 |
| FetchFollowerResponseQueueTimeMsMean | プロデューサー/コンシューマーがいる後。 | フォロワーの要求が応答キューで待機する平均時間 (ミリ秒)。 |
| FetchFollowerResponseSendTimeMsMean | プロデューサー/コンシューマーがいる後。 | フォロワーが応答を送信するまでの平均時間 (ミリ秒)。 |
| FetchFollowerTotalTimeMsMean | プロデューサー/コンシューマーがいる後。 | フォロワーがブローカーからデータを取得するのに費やす平均合計時間 (ミリ秒)。 |
| FetchThrottleByteRate | 帯域幅スロットリングが適用された後。 | 1 秒あたりのスロットルバイト数。 |
| FetchThrottleQueueSize | 帯域幅スロットリングが適用された後。 | スロットルキュー内のメッセージ数。 |
| FetchThrottleTime | 帯域幅スロットリングが適用された後。 | フェッチスロットルの平均時間 (ミリ秒単位)。 |
| IAMNumberOfConnectionRequests | クラスターが ACTIVE 状態になった後。 | 1 秒あたりの IAM 認証リクエスト数。 |
| IAMTooManyConnections | クラスターが ACTIVE 状態になった後。 | 100 `0` を超える接続試行回数は、接続回数が制限内であることを意味します。すると `>0` 、スロットル制限を超過している場合、接続数を減らす必要があります。 |
| NetworkProcessorAvgIdlePercent | クラスターが ACTIVE 状態になった後。 | ネットワークプロセッサがアイドル状態の平均時間の割合。 |
| ProduceLocalTimeMsMean | クラスターが ACTIVE 状態になった後。 | リーダーでリクエストが処理される平均時間 (ミリ秒単位)。 |
| ProduceRequestQueueTimeMsMean | クラスターが ACTIVE 状態になった後。 | リクエストメッセージがキューに費やした平均時間 (ミリ秒)。 |
| ProduceResponseQueueTimeMsMean | クラスターが ACTIVE 状態になった後。 | 応答メッセージがキューに費やした平均時間 (ミリ秒)。 |
| ProduceResponseSendTimeMsMean | クラスターが ACTIVE 状態になった後。 | 応答メッセージの送信に費やされた平均時間 (ミリ秒)。 |
| ProduceThrottleByteRate | 帯域幅スロットリングが適用された後。 | 1 秒あたりのスロットルバイト数。 |
| ProduceThrottleQueueSize | 帯域幅スロットリングが適用された後。 | スロットルキュー内のメッセージ数。 |
| ProduceThrottleTime | 帯域幅スロットリングが適用された後。 | 平均生成スロットル時間 (ミリ秒単位)。 |
| ProduceTotalTimeMsMean | クラスターが ACTIVE 状態になった後。 | ミリ秒単位の平均生成時間。 |
| ReplicationBytesInPerSec | トピックを作成した後。 | 他のブローカーから受信した 1 秒あたりのバイト数。 |
| ReplicationBytesOutPerSec | トピックを作成した後。 | 他のブローカーに送信された 1 秒あたりのバイト数。 |
| RequestExemptFromThrottleTime | リクエストスロットリングが適用された後。 | ブローカーネットワークおよび I/O スレッドで、スロットリングから除外されたリクエストを処理するのに費やされた平均時間 (ミリ秒)。 |
| RequestHandlerAvgIdlePercent | クラスターが ACTIVE 状態になった後。 | リクエストハンドラーのスレッドがアイドル状態の平均時間の割合。 |
| RequestThrottleQueueSize | リクエストスロットリングが適用された後。 | スロットルキュー内のメッセージ数。 |
| RequestThrottleTime | リクエストスロットリングが適用された後。 | リクエストスロットルの平均時間 (ミリ秒単位)。 |
| TcpConnections | クラスターが ACTIVE 状態になった後。 | SYN フラグが設定された着信および発信 TCP セグメントの数を表示します。 |
| TrafficBytes | クラスターが ACTIVE 状態になった後。 | クライアント (プロデューサーとコンシューマー) とブローカー間のネットワークトラフィックを全体のバイト数で表示します。ブローカー間のトラフィックは報告されません。 |
## Express ブローカーの `PER_TOPIC_PER_PARTITION` レベルモニタリング
モニタリングレベルを `PER_TOPIC_PER_PARTITION` に設定すると、次の表に記載されているメトリクスに加え、 `PER_TOPIC_PER_BROKER`、 `PER_BROKER`、 および `DEFAULT`レベルのすべてのメトリクスを入手できます。`DEFAULT` レベルメトリクスのみが無料でご利用いただけます。この表のメトリクスには、コンシューマーグループ、トピック、パーティションのディメンションがあります。
| 名前 | 表示可能なタイミング | 説明 |
| --- | --- | --- |
| EstimatedTimeLag\$1 | コンシューマーグループがトピックから消費した後。 | パーティションオフセットラグを排出するための推定時間 (秒単位)。 |
| OffsetLag\$1 | コンシューマーグループがトピックから消費した後。 | オフセット数のパーティションレベルのコンシューマーラグ。 |
| RollingEstimatedTimeLag\$1 | コンシューマーグループがトピックから消費した後。 | パーティションオフセットラグをドレインするためのローリング時間の推定 (秒単位）。 |
\$1 コンシューマーラグメトリクスには、ASCII のみのコンシューマーグループ名が必要で、特定の放出要件があります。詳細については、「[コンシューマーラグをモニタリングする](consumer-lag.md)」を参照してください。
## Express ブローカーの `PER_TOPIC_PER_BROKER` レベルモニタリング
モニタリングレベルを `PER_TOPIC_PER_BROKER` に設定すると、`PER_BROKER` および `DEFAULT` レベルのすべてのメトリクスに加え、次の表に記載されているメトリクスを入手できます。`DEFAULT` レベルメトリクスのみが無料でご利用いただけます。この表のメトリクスには、クラスター名、ブローカー ID、トピックのディメンションがあります。
**重要**
次の表のメトリクスは、値が初めてゼロでない場合にのみ表示されます。例えば、BytesInPerSec を表示するには、まず 1 つ以上のプロデューサーが最初にクラスターのデータを送信する必要があります。
| 名前 | 表示可能なタイミング | 説明 |
| --- | --- | --- |
| MessagesInPerSec | トピックを作成した後。 | 1 秒あたりに受信したメッセージ数。 |
# Prometheus で MSK プロビジョンドクラスターをモニタリングする
MSK プロビジョニングされた クラスター は、時系列メトリックデータ向けのオープンソースモニタリングシステムである Prometheus を使用してモニタリングできます。Prometheus のリモート書き込み機能を使用して、このデータを Amazon Managed Service for Prometheus に公開できます。また、Prometheus でフォーマットされたメトリクスと互換性のあるツールや、[Datadog](https://docs.datadoghq.com/integrations/amazon_msk/)、[Lenses](https://docs.lenses.io/latest/deployment/configuration/agent/automation/kafka/aws-msk)、[New Relic](https://docs.newrelic.com/docs/integrations/amazon-integrations/aws-integrations-list/aws-managed-kafka-msk-integration)、および [Sumo Logic](https://help.sumologic.com/03Send-Data/Collect-from-Other-Data-Sources/Amazon_MSK_Prometheus_metrics_collection) など、Amazon MSK オープンモニタリングに連携されたツールを使用することもできます。オープンモニタリングは無料ですが、アベイラビリティーゾーン間のデータ転送には料金がかかります。
Prometheus の詳細については、[Prometheus のドキュメント](https://prometheus.io/docs)を参照してください。
Prometheus の使用の詳細については、[Amazon Managed Service for Prometheus と Amazon Managed Grafana を使用した Amazon MSK の運用上のインサイトの強化](https://aws.amazon.com/blogs//big-data/enhance-operational-insights-for-amazon-msk-using-amazon-managed-service-for-prometheus-and-amazon-managed-grafana/) を参照してください。
**注記**
KRaft メタデータモードと MSK Express ブローカーでは、オープンモニタリングとパブリックアクセスの両方を有効にすることはできません。
# 新規 MSK プロビジョニングされたクラスターでオープンモニタリングを有効化
この手順では、、 AWS マネジメントコンソール、または Amazon MSK API を使用して AWS CLI、新しい MSK クラスターでオープンモニタリングを有効にする方法について説明します。
**の使用 AWS マネジメントコンソール**
1. にサインインし AWS マネジメントコンソール、[https://console.aws.amazon.com/msk/home?region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/) で Amazon MSK コンソールを開きます。
1. [**Monitoring (モニタリング)**] セクションで、[**Enable open monitoring with Prometheus (Prometheus でオープンモニタリングを有効にする)**] の横にあるチェックボックスをオンにします。
1. ページのすべてのセクションに必要な情報を入力し、使用可能なすべてのオプションを確認します。
1. **Create cluster** (クラスターの作成) を選択します。
**の使用 AWS CLI**
+ [create-cluster](https://docs.aws.amazon.com/cli/latest/reference/kafka/create-cluster.html) コマンドを呼び出し、`open-monitoring` オプションを指定します。`JmxExporter`、`NodeExporter`、またはその両方を有効にします。`open-monitoring` を指定した場合、2 つのエクスポーターを同時に無効にすることはできません。
**API の使用**
+ [CreateCluster](https://docs.aws.amazon.com/msk/1.0/apireference/clusters.html#CreateCluster) オペレーションを呼び出し、`OpenMonitoring` を指定します。`jmxExporter`、`nodeExporter`、またはその両方を有効にします。`OpenMonitoring` を指定した場合、2 つのエクスポーターを同時に無効にすることはできません。
# 既存の MSK プロビジョニングされたクラスターでオープンモニタリングを有効
オープンモニタリングを有効にするには、MSK プロビジョニングされた クラスター が `ACTIVE` 状態にあることを確認してください。
**の使用 AWS マネジメントコンソール**
1. にサインインし AWS マネジメントコンソール、[https://console.aws.amazon.com/msk/home?region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/) で Amazon MSK コンソールを開きます。
1. 更新するクラスターの名前を選択します。これにより、そのクラスターの詳細を含むページが表示されます。
1. **[プロパティ]** タブで、下にスクロールして **[モニタリング]** セクションを見つけます。
1. **[編集]** を選択します。
1. [**Enable open monitoring with Prometheus (Prometheus でオープンモニタリングを有効にする)**] の横にあるチェックボックスをオンにします。
1. **[Save changes]** (変更の保存) をクリックします。
**の使用 AWS CLI**
+ [update-monitoring](https://docs.aws.amazon.com/cli/latest/reference/kafka/update-monitoring.html) コマンドを呼び出し、その `open-monitoring` オプションを指定します。`JmxExporter`、`NodeExporter`、またはその両方を有効にします。`open-monitoring` を指定した場合、2 つのエクスポーターを同時に無効にすることはできません。
**API の使用**
+ [UpdateMonitoring](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn-monitoring.html#UpdateMonitoring) オペレーションを呼び出し、`OpenMonitoring` を指定します。`jmxExporter`、`nodeExporter`、またはその両方を有効にします。`OpenMonitoring` を指定した場合、2 つのエクスポーターを同時に無効にすることはできません。
# Amazon EC2 インスタンスで Prometheus ホストを設定する
この手順では、prometheus.yml ファイルを使用して Prometheus ホストを設定する方法について説明します。
1. Prometheus サーバーを [https://prometheus.io/download/#prometheus](https://prometheus.io/download/#prometheus) から Amazon EC2 インスタンスにダウンロードします。
1. ダウンロードしたファイルをディレクトリに展開し、そのディレクトリに移動します。
1. 次の内容で、`prometheus.yml` という名前のファイルを作成します。
```
# file: prometheus.yml
# my global config
global:
scrape_interval: 60s
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
# The job name is added as a label `job=` to any timeseries scraped from this config.
- job_name: 'prometheus'
static_configs:
# 9090 is the prometheus server port
- targets: ['localhost:9090']
- job_name: 'broker'
file_sd_configs:
- files:
- 'targets.json'
```
1. [ListNodes](https://docs.aws.amazon.com//msk/1.0/apireference/clusters-clusterarn-nodes.html#ListNodes) オペレーションを使用して、クラスターのブローカーのリストを取得します。
1. 以下の JSON を使用した `targets.json` という名前のファイルを作成します。*broker\$1dns\$11*、*broker\$1dns\$12*、残りのブローカーの DNS 名を、前の手順でブローカー用に取得した DNS 名に置き換えます。前のステップで取得したブローカーのすべてを含めます。Amazon MSK は、JMX Exporter にポート 11001 を使用し、Node Exporter にポート 11002 を使用します。
------
#### [ ZooKeeper mode targets.json ]
```
[
{
"labels": {
"job": "jmx"
},
"targets": [
"broker_dns_1:11001",
"broker_dns_2:11001",
.
.
.
"broker_dns_N:11001"
]
},
{
"labels": {
"job": "node"
},
"targets": [
"broker_dns_1:11002",
"broker_dns_2:11002",
.
.
.
"broker_dns_N:11002"
]
}
]
```
------
#### [ KRaft mode targets.json ]
```
[
{
"labels": {
"job": "jmx"
},
"targets": [
"broker_dns_1:11001",
"broker_dns_2:11001",
.
.
.
"broker_dns_N:11001",
"controller_dns_1:11001",
"controller_dns_2:11001",
"controller_dns_3:11001"
]
},
{
"labels": {
"job": "node"
},
"targets": [
"broker_dns_1:11002",
"broker_dns_2:11002",
.
.
.
"broker_dns_N:11002"
]
}
]
```
------
**注記**
KRaft コントローラーから JMX メトリクスをスクレイプするには、コントローラーの DNS 名を JSON ファイルにターゲットとして追加します。例えば `controller_dns_1:11001` です。ここで、`controller_dns_1` を実際のコントローラー DNS 名に置き換えます。
1. Amazon EC2 インスタンスで Prometheus サーバーをスタートするには、Prometheus ファイルを抽出して `prometheus.yml` と `targets.json` を保存したディレクトリで次のコマンドを実行します。
```
./prometheus
```
1. 前のステップで Prometheus を実行した Amazon EC2 インスタンスの IPv4 パブリック IP アドレスを見つけます。このパブリック IP アドレスは、次のステップで必要になります。
1. Prometheus ウェブ UI にアクセスするには、Amazon EC2 インスタンスにアクセスできるブラウザを開き、`Prometheus-Instance-Public-IP:9090` に移動します。ここで、*Prometheus-Instance-Public-IP*は、前の手順で取得したパブリック IP アドレスです。
# Prometheus メトリクスを使用する
Apache Kafka から JMX に出力されるすべてのメトリクスは、Prometheus のオープンモニタリングを使用してアクセスできます。Apache Kafka のメトリクスについては、Apache Kafka のドキュメントの「[モニタリング](https://kafka.apache.org/documentation/#monitoring)」を参照してください。Apache Kafkaメトリクスに加えて、コンシューマラグメトリクスも JMX MBean 名 `kafka.consumer.group:type=ConsumerLagMetrics` のポート 11001 で利用できます。Prometheus Node Exporter を使用して、ポート 11002 でブローカーの CPU およびディスクメトリクスを取得することもできます。
# Prometheus メトリクスを Amazon Managed Service for Prometheus に保存する
Amazon Managed Service for Prometheus は Prometheus 互換のモニタリングおよびアラートサービスであり、Amazon MSK クラスターのモニタリングに使用できます。これは、メトリクスの取り込み、ストレージ、クエリ、アラートを自動的にスケーリングするフルマネージド型サービスです。また、 AWS セキュリティサービスと統合して、データへの高速かつ安全なアクセスを提供します。オープンソースの PromQL クエリ言語を使用して、メトリクスをクエリし、それらに関するアラートを作成できます。
詳細については、[Amazon Managed Service for Prometheus の使用を開始する](https://docs.aws.amazon.com/prometheus/latest/userguide/AMP-getting-started.html)を参照してください。
# コンシューマーラグをモニタリングする
コンシューマーラグをモニタリングすることで、トピックで利用可能な最新のデータに追いついていない、遅いまたはスタックしたコンシューマーを特定できます。必要に応じて、それらのコンシューマーのスケーリングや再起動などの修正アクションを実行できます。コンシューマーラグをモニタリングするには、Amazon CloudWatch を使用するか、Prometheus でオープンモニタリングを使用できます。
コンシューマーラグメトリクスは、トピックに書き込まれた最新のデータとアプリケーションによって読み取られたデータの違いを定量化します。Amazon MSK は、Amazon CloudWatch または Prometheus を使用したオープンモニタリングを通じて取得できる次のコンシューマーラグメトリクスを提供します: `EstimatedMaxTimeLag`、`EstimatedTimeLag`、`MaxOffsetLag`、`OffsetLag`、および `SumOffsetLag`。これらのメトリクスの詳細については、「[Amazon MSK メトリクスによる CloudWatch を使用した 標準 ブローカーのモニタリング](metrics-details.md)」を参照してください。
Amazon MSK は、Apache Kafka 2.2.1 以降のバージョンを搭載したクラスターでのコンシューマーラグメトリクスをサポートしています。Kafka および CloudWatch メトリクスを使用する場合は、次の点を考慮してください。
+ コンシューマー遅延メトリクスは、コンシューマーグループが STABLE または EMPTY 状態の場合にのみ発行されます。コンシューマーグループは、パーティションがコンシューマー間で均等に分散されるようにするリバランシングが正常に完了した後に安定します。
+ コンシューマーラグメトリクスは、次のシナリオでは存在しません。
+ コンシューマーグループが不安定である場合。
+ コンシューマーグループの名前にはコロン (:) が含まれます。
+ コンシューマーグループのコンシューマーオフセットを設定していません。
+ コンシューマーグループ名は、CloudWatch のコンシューマーラグメトリクスのディメンションとして使用されます。Kafka はコンシューマーグループ名で UTF-8 文字をサポートしていますが、CloudWatch は [ディメンション値](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_Dimension.html) について ASCII 文字のみをサポートしています。コンシューマーグループ名に ASCII 以外の文字を使用すると、CloudWatch はコンシューマーラグメトリクスを削除します。コンシューマーラグメトリクスが CloudWatch で適切にキャプチャされるようにするには、コンシューマーグループ名に ASCII 文字のみを使用する必要があります。
# Amazon MSK ストレージ容量アラートを使用する
Amazon MSK でプロビジョニングされたクラスターでは、クラスターのプライマリストレージ容量を選択します。プロビジョニングしたクラスター内のブローカーのストレージ容量を使い果たすと、そのブローカーのデータ生成と消費能力に影響が及び、コストのかかるダウンタイムにつながる可能性があります。Amazon MSK には、クラスターのストレージ容量をモニタリングするのに役立つ CloudWatch メトリクスが用意されています。ただし、ストレージ容量の問題をより簡単に検出して解決できるように、Amazon MSK は動的クラスターストレージ容量アラートを自動的に送信します。ストレージ容量アラートには、クラスターのストレージ容量を管理するための短期および長期の手順に関する推奨事項が含まれています。[Amazon MSK コンソール](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/)から、アラート内のクイックリンクを使用して推奨アクションをすぐに実行できます。
MSK ストレージ容量アラートには、事前対応型と修正型の 2 種類があります。
+ 事前対応型 (「対応が必要」) ストレージ容量アラートは、クラスターで発生する可能性のあるストレージ問題について警告します。MSK クラスター内のブローカーがディスクストレージ容量の 60% または 80% 以上を使用した場合、影響を受けるブローカーに対して事前対応型のアラートが届きます。
+ 修正型 (「重大な対応が必要」) のストレージ容量アラートでは、MSK クラスター内のいずれかのブローカーのディスクストレージ容量が不足した場合に、クラスターの重大な問題を修正するための修正アクションを講じる必要があります。
Amazon MSK は、これらのアラートを [Amazon MSK コンソール](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/)、[AWS ヘルスダッシュボード](https://aws.amazon.com/premiumsupport/technology/aws-health/)、[Amazon EventBridge](https://aws.amazon.com/pm/eventbridge/)、および AWS アカウントの E メール連絡先に自動的に送信します。これらのアラートを Slack や New Relic、Datadog などのツールに配信するように [Amazon EventBridge を設定する](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-api-destination-partners.html)こともできます。
ストレージ容量アラートは MSK でプロビジョニングされたすべてのクラスターでデフォルトで有効になっており、オフにすることはできません。この機能は、MSK がサポートされているすべてのリージョンで利用できます。
## ストレージ容量アラートをモニタリングする
ストレージ容量アラートは次のいくつかの方法で確認できます。
+ [Amazon MSK コンソール](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/)に進みます。ストレージ容量アラートは、クラスターアラートペインに 90 日間表示されます。アラートには、ディスクストレージ容量の問題に対処するための推奨事項とワンクリックリンクアクションが含まれています。
+ [ListClusters](https://docs.aws.amazon.com/msk/1.0/apireference/clusters.html#ListClusters)、[ListClustersV2](https://docs.aws.amazon.com/MSK/2.0/APIReference/v2-clusters.html#ListClustersV2)、[DescribeCluster](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn.html#DescribeCluster)、または [DescribeClusterV2](https://docs.aws.amazon.com/MSK/2.0/APIReference/v2-clusters-clusterarn.html#DescribeClusterV2) API を使用して、`CustomerActionStatus` および クラスター のすべてのアラートを表示します。
+ [AWS Health Dashboard](https://aws.amazon.com/premiumsupport/technology/aws-health/) にアクセスして、MSK やその他の AWS サービスからのアラートを確認してください。
+ [AWS Health API](https://docs.aws.amazon.com/health/latest/ug/health-api.html) と [Amazon EventBridge](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-api-destination-partners.html) をセットアップして、アラート通知を Datadog、NewRelic、Slack などのサードパーティープラットフォームにルーティングします。