View a markdown version of this page

Amazon CloudWatch ソリューション: Amazon MSK インサイト - Amazon CloudWatch
要件マネージドコレクターを有効にするAmazon MSK の詳細モニタリングレベル自動ダッシュボードを表示するコスト

Amazon CloudWatch ソリューション: Amazon MSK インサイト

このソリューションでは、独自の収集インフラストラクチャを実行またはスケーリングせずに、CloudWatch で Amazon MSK クラスターをモニタリングできます。Amazon MSK クラスターでオープンモニタリングを有効にすると、クラスターは JMX Exporter と Node Exporter を介して Prometheus メトリクスを公開し、Amazon CloudWatch マネージド Prometheus コレクターがそれらのメトリクスをスクレイプして CloudWatch に配信します。すべての CloudWatch オブザーバビリティソリューションの一般的な情報については、「CloudWatch オブザーバビリティソリューション」を参照してください。スクレーパー作成とサンプルスクレイプ構成の例を含む完全なコレクターセットアップの手順については、「Amazon MSK の統合」を参照してください。

要件

このソリューションは、以下の条件に適しています。

  • プロビジョニングモードの Amazon MSK クラスター (標準ブローカーまたは Express ブローカー付き)。マネージドコレクターは、Amazon MSK Serverless クラスターをサポートしていません。

  • クラスター上で有効化されたオープンモニタリング。これで、JMX Exporter (ポート 11001) と Node Exporter (ポート 11002) が公開されます。

  • DNS が有効化された Amazon VPC と、コレクター用の異なるアベイラビリティーゾーンにある少なくとも 2 つのサブネット。

  • コレクターがブローカーポート 11001 および 11002 に到達できるようにするセキュリティグループ。

マネージドコレクターを有効にする

マネージドコレクターを使用して Amazon MSK メトリクスを収集するには、クラスター上でオープンモニタリングを有効にし、VPC に接続されたコレクターを作成します。コレクターは、ブローカーエンドポイントをスクレイプし、メトリクスを CloudWatch データセットに配信します。コレクターは VPC に接続し、DNS ベースのサービス検出を使用してすべてのブローカーをスクレイプするため、ブローカーの置き換えやクラスターのスケーリングに対してモニタリングの耐性が維持されます。手順については、「Amazon MSK の統合」を参照してください。

注記

--open-monitoring パラメータのみで、ポート 11001 および 11002 の Prometheus エンドポイントを公開します。PER_TOPIC_PER_PARTITION などの拡張モニタリングティアは、オープンモニタリングとは別であり、追加料金が発生する場合があります。そのため、そのレベルの Amazon MSK メトリクスが必要な場合にのみ設定してください。

Amazon MSK の詳細モニタリングレベル

コレクターがスクレイプする Prometheus メトリクスとは別に、Amazon MSK は複数のモニタリングレベルで独自のメトリクスを CloudWatch に公開します。各レベルは前のレベルに基づいており、より細かな運用可視性を提供します。モニタリングレベルは、クラスターを作成または更新する際に選択します。次のリストは、レベルをまとめたものです。各レベルのメトリクスの完全なリストについては、Amazon MSK デベロッパーガイドの「CloudWatch でのモニタリング用の Amazon MSK メトリクス」を参照してください。

  • 基本モニタリング (DEFAULT) – デフォルトのレベルで、追加料金なしで利用できます。ブローカーの数、パーティションの数、入出力のバイトおよびメッセージ数、CPU 使用率、ネットワーク I/O など、クラスターレベルとブローカーレベルのメトリクスが含まれます。

  • 拡張ブローカーレベルモニタリング (PER_BROKER) – 基本モニタリングに加えて、追加料金で、より細かなブローカーごとのメトリクスが含まれます。

  • 拡張トピックレベルモニタリング (PER_TOPIC_PER_BROKER) – 拡張ブローカーレベルモニタリングに加えて、追加料金で、ブローカー間のトピックパフォーマンスをより細かく把握するためのトピックごとのメトリクスが含まれます。

  • 拡張パーティションレベルモニタリング (PER_TOPIC_PER_PARTITION) – 最も詳細なレベル。拡張トピックレベルモニタリングに加えて、追加料金で、オフセットラグなど、パーティションごとのきめ細かいメトリクスが含まれます。

注記

Amazon MSK は、詳細モニタリングメトリクスをクラシック CloudWatch メトリクスとして公開します。これらのメトリクスは、GetMetricData API を使用してクエリできます。オープンモニタリングの Prometheus メトリクスとともに詳細モニタリングメトリクスを利用可能にするには、OpenTelemetry エンリッチメントを有効にする必要があります。詳細については、「OpenTelemetry メトリクスエンリッチメント」を参照してください。

自動ダッシュボードを表示する

コレクターが Amazon MSK メトリクスを CloudWatch に配信し始めると、CloudWatch コンソールには MSK OTel という名前の自動ダッシュボードが提供されます。それを開くには、MSK OTel を参照するか、AWS マネジメントコンソールにサインインし、CloudWatch コンソールを開いて、ナビゲーションペインで [ダッシュボード] を選択し、[自動ダッシュボード] を選択してから、MSK OTel を選択します。ウィジェットやダッシュボードを自分で作成せずに、クラスターのモニタリングを開始できます。自動ダッシュボードが要件を満たしている場合は、そのまま使用できます。カスタマイズしたモニタリングエクスペリエンスを構築するには、そのウィジェットのいずれかをカスタムダッシュボードに追加できます。カスタムダッシュボードの詳細については、「CloudWatch ダッシュボードの使用」を参照してください。

コスト

Prometheus コレクターについては時間単位で課金され、CloudWatch OpenTelemetry メトリクスの取り込み料金が適用されます。Amazon MSK のモニタリングレベルが高くなると、追加の月額コストが発生します。CloudWatch の料金の詳細については、「Amazon CloudWatch の料金」をご覧ください。