CloudWatch ソリューション: Amazon EC2 での Kafka ワークロード

このソリューションは、EC2 インスタンスで実行されている Kafka ワークロード (ブローカー、プロデューサー、コンシューマー) の CloudWatch エージェントを使用して、すぐに使用できるメトリクス収集を設定するのに役立ちます。さらに、事前設定された CloudWatch ダッシュボードを設定するのに役立ちます。すべての CloudWatch オブザーバビリティソリューションの一般的な情報については、「CloudWatch オブザーバビリティソリューション」を参照してください。

要件

このソリューションは、以下の条件に適しています。

利点

このソリューションでは Kafka サーバーをモニタリングしているため、以下のユースケースに役立つインサイトが得られます。

ソリューションの主な利点を以下に示します。

以下の画像は、このソリューションのダッシュボードの例です。

コスト

このソリューションは、アカウントでリソースを作成して使用します。標準使用には料金がかかります。これには以下を含みます。

CloudWatch の料金の詳細については、Amazon CloudWatch の料金をご覧ください。

料金計算ツールを使用すると、このソリューションを使用するためのおよその月額コストを見積もることができます。

このソリューションの CloudWatch エージェント設定

CloudWatch エージェントは、サーバー上およびコンテナ化された環境で継続的かつ自律的に実行されるソフトウェアです。インフラストラクチャとアプリケーションからメトリクス、ログ、トレースを収集し、CloudWatch と X-Ray に送信します。

CloudWatch エージェントの詳細については、「CloudWatch エージェントを使用してメトリクス、ログ、トレースを収集する」を参照してください。

このソリューションのエージェント設定では、Kafka、JVM、EC2 の基本的なメトリクスを収集します。CloudWatch エージェントは、ダッシュボードにデフォルトで表示されるよりも多くの Kafka メトリクスと JVM メトリクスを収集するように設定できます。EC2 メトリクスのリストについては、「Linux および macOS インスタンスで CloudWatch エージェントにより収集されるメトリクス」を参照してください。

Kafka ブローカーロール、プロデューサーロール、コンシューマーロールの JMX ポートを公開する

CloudWatch エージェントは、JMX に依存して Kafka ブローカー、プロデューサー、コンシューマーに関連するメトリクスを収集します。これを実現するには、サーバーとアプリケーションの JMX ポートを公開する必要があります。

Kafka ブローカーの場合は、JMX_PORT 環境変数を使用してポートを設定する必要があります。この環境変数を設定した後、ブローカーを再起動する必要があります。アプリケーションの開始スクリプトと設定ファイルを確認して、これらの引数を追加する最適な場所を見つけます。

例えば、Linux および macOS システムでは、次のコマンドを使用して JMX ポートを設定できます。必ず未使用のポート番号を指定してください。

export JMX_PORT=port-number

Kafka プロデューサーとコンシューマーの場合、JMX ポートを公開する手順は、プロデューサーまたはコンシューマーの JVM アプリケーションに使用するワークロードタイプによって異なります。これらの手順については、アプリケーションのドキュメントを参照してください。

通常、モニタリングと管理のために JMX ポートを有効にするには、JVM アプリケーションに次のシステムプロパティを設定します。次の例では、認証されていない JMX を設定します。セキュリティポリシー/要件で、JMX を有効にするためにパスワード認証やリモートアクセスで SSL を有効にすることが必須の場合は、JMX のドキュメントを参照して必要なプロパティを設定します。

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=port-number
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false

JMX ポートを確認するには、ps aux | grep jmxremote.port を実行します。結果は、JMX ポートが JVM プロセスで設定されたことを示すはずです。

このソリューションのエージェント設定

エージェントによって収集されるメトリクスは、エージェント設定で定義されます。このソリューションには、ソリューションのダッシュボードに適したディメンションで推奨メトリクスを収集するためのエージェント設定が用意されています。ブローカー、プロデューサー、コンシューマーなどの各 Kafka ロールには、Kafka メトリクスと基盤となる JVM および EC2 メトリクスの収集を可能にする独自のエージェント設定があります。

ソリューションをデプロイする手順については、「ソリューションにエージェントをデプロイする」で後述します。以下の情報は、環境に合わせてエージェント設定をカスタマイズする方法を理解するのに役立ちます。

環境に合わせて、次のエージェント設定の一部をカスタマイズする必要があります。

例えば、同じアカウントで実行されている Kafka クラスターが 2 つあり、1 つは order-processing アプリケーション用、もう 1 つは inventory-management アプリケーション用である場合、それに応じてブローカーインスタンスのエージェント設定で ClusterName と ProcessGroupName ディメンションを設定する必要があります。

上記のディメンションを正しく設定すると、ソリューションダッシュボードは、ClusterName、ProducerGroupName、および ConsumerGroupName の各ディメンションに基づいてメトリクスを自動的にグループ化します。ダッシュボードには、特定のクラスターとグループのメトリクスを選択および表示するドロップダウンオプションが含まれており、個々のクラスターとグループのパフォーマンスを個別にモニタリングできます。

関連するエージェント設定を正しい EC2 インスタンスにデプロイしてください。各設定は、「ステップ 2: 推奨 CloudWatch エージェント設定ファイルを Systems Manager パラメータストアに保存する」で後述するように、SSM のパラメータストアに別々のパラメータとして保存されます。

次の手順では、プロデューサー、コンシューマー、ブローカーの各ロールが重複することなく別々の EC2 インスタンスにデプロイされる状況について説明します。同じ EC2 インスタンスで複数の Kafka ロールを実行している場合、詳細については、「同じインスタンスで複数の Kafka ロールのエージェントを設定する」を参照してください。

Kafka ブローカーエージェントのエージェント設定

Kafka ブローカーエージェントがデプロイされている EC2 インスタンスでは、次の CloudWatch エージェント設定を使用します。ClusterName を、これらのメトリクスをグループ化して統一された表示にするために使用するクラスターの名前に置き換えます。ClusterName に指定した値は、ClusterName ディメンションと ProcessGroupName ディメンションの両方として使用されます。port-number を Kafka サーバーの JMX ポートに置き換えます。

この設定 (JMX ブロックの外部に示される設定) に示される EC2 メトリクスは、Linux インスタンスと macOS インスタンスでのみ機能します。Windows インスタンスを使用している場合は、設定でこれらのメトリクスを省略できます。Windows インスタンスで収集されたメトリクスについては、「Windows Server インスタンスで CloudWatch エージェントにより収集されるメトリクス」を参照してください。

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka": {
            "measurement": [
              "kafka.request.time.avg",
              "kafka.request.failed",
              "kafka.request.count",
              "kafka.purgatory.size",
              "kafka.partition.under_replicated",
              "kafka.partition.offline",
              "kafka.network.io",
              "kafka.leader.election.rate",
              "kafka.isr.operation.count"
            ]
          },
          "append_dimensions": {
            "ClusterName": "ClusterName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "jvm": {
            "measurement": [
              "jvm.classes.loaded",
              "jvm.gc.collections.count",
              "jvm.gc.collections.elapsed",
              "jvm.memory.heap.committed",
              "jvm.memory.heap.max",
              "jvm.memory.heap.used",
              "jvm.memory.nonheap.committed",
              "jvm.memory.nonheap.max",
              "jvm.memory.nonheap.used",
              "jvm.threads.count"
            ]
          },
          "append_dimensions": {
            "ProcessGroupName": "ClusterName"
          }
        }
      ],
      "disk": {
        "measurement": [
          "used_percent"
        ]
      },
      "mem": {
        "measurement": [
          "used_percent"
        ]
      },
      "swap": {
        "measurement": [
          "used_percent"
        ]
      },
      "netstat": {
        "measurement": [
          "tcp_established",
          "tcp_time_wait"
        ]
      }
    }
  }
}

Kafka プロデューサーのエージェント設定

Kafka プロデューサーがデプロイされている Amazon EC2 インスタンスでは、次の CloudWatch エージェント設定を使用します。ProducerGroupName を、メトリクスをグループ化して統一された表示にするために使用するアプリケーションまたはグループの名前に置き換えます。port-number を Kafka プロデューサーアプリケーションの JMX ポートに置き換えます。

ソリューションダッシュボードにプロデューサーの JVM に関連する JVM メトリクスが表示されないため、このソリューションでは Kafka プロデューサーの JVM メトリクスは有効になりません。エージェント設定をカスタマイズして JVM メトリクスを出力することもできますが、プロデューサーに関連する JVM メトリクスはソリューションダッシュボードに表示されません。

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        }
      ]
    }
  }
}

Kafka コンシューマーのエージェント設定

Kafka コンシューマーが実行されている EC2 インスタンスでは、次の CloudWatch エージェント設定を使用します。ConsumerGroupName を、これらのメトリクスをグループ化して統一された表示にするために使用するアプリケーションまたはグループの名前に置き換えます。port-number を Kafka コンシューマーアプリケーションの JMX ポートに置き換えます。

ソリューションダッシュボードにコンシューマーの JVM に関連する JVM メトリクスが表示されないため、このソリューションでは Kafka コンシューマーの JVM メトリクスは有効になりません。エージェント設定をカスタマイズして JVM メトリクスを出力することもできますが、コンシューマーに関連する JVM メトリクスはソリューションダッシュボードに表示されません。

{
  "metrics": {
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}

ソリューションにエージェントをデプロイする

ユースケースに応じて、CloudWatch エージェントをインストールするためのいくつかのアプローチがあります。このソリューションには Systems Manager を使用することをお勧めします。これにより、コンソール操作機能が提供され、1 つの AWS アカウント内のマネージドサーバーのフリートの管理が簡単になります。このセクションの手順では Systems Manager を使用し、CloudWatch エージェントを既存の設定で実行していない場合を想定しています。CloudWatch エージェントが実行されているかどうかは、「CloudWatch エージェントが実行されていることを確認する」の手順に従って確認できます。

ワークロードがデプロイされている EC2 ホストで CloudWatch エージェントを既に実行していて、エージェント設定を管理している場合は、このセクションの手順をスキップし、既存のデプロイメカニズムに従って設定を更新できます。ロール (ブローカー、プロデューサー、コンシューマー) に従ってエージェント設定を既存のエージェント設定とマージしてから、マージされた設定をデプロイします。Systems Manager を使用して CloudWatch エージェントの設定を保存および管理している場合は、設定を既存のパラメータ値にマージできます。詳細については、「CloudWatch エージェント設定ファイルの管理」を参照してください。

このデプロイプロセスには、以下のステップが含まれます。

ブローカー、プロデューサー、コンシューマーが同じ EC2 インスタンスにデプロイされているか、異なるインスタンスにデプロイされているかに基づいて、この手順を繰り返す必要があります。例えば、Kafka ブローカー、プロデューサー、コンシューマーが重複することなく別々のインスタンスにデプロイされている場合は、ブローカー、プロデューサー、コンシューマーの各 EC2 インスタンスの適切なエージェント設定でこの手順を 3 回繰り返す必要があります。

ステップ 1: ターゲット EC2 インスタンスに必要な IAM アクセス許可があることを確認する

CloudWatch エージェントをインストールして設定するためのアクセス許可を Systems Manager に付与する必要があります。また、EC2 インスタンスから CloudWatch にテレメトリを発行するアクセス許可を CloudWatch エージェントに付与する必要もあります。インスタンスにアタッチされた IAM ロールに CloudWatchAgentServerPolicy と AmazonSSMManagedInstanceCore の IAM ポリシーがアタッチされていることを確認します。

ステップ 2: 推奨 CloudWatch エージェント設定ファイルを Systems Manager パラメータストアに保存する

パラメータストアでは、設定パラメータを安全に保存および管理することで EC2 インスタンスへの CloudWatch エージェントのインストールが簡素化され、ハードコーディングされた値が不要になります。これにより、デプロイプロセスがより安全で柔軟になり、集中管理が可能になり、複数のインスタンスで設定を簡単に更新できるようになります。

以下の手順を使用して、パラメータストアに推奨 CloudWatch エージェント設定ファイルをパラメータとして保存します。

ステップ 3: CloudWatch エージェントをインストールし、AWS CloudFormation テンプレートを使用して設定を適用する

AWS CloudFormation を使用してエージェントをインストールし、これまでの手順で作成した CloudWatch エージェント設定を使用するように設定できます。

まずテンプレートファイルを編集してカスタマイズする場合は、[スタックの作成ウィザード] の [テンプレートファイルのアップロード] オプションを選択して、編集したテンプレートをアップロードします。詳細については、「AWS CloudFormation コンソールからスタックを作成する」を参照してください。次のリンクを使用して、テンプレートをダウンロードできます: https://aws-observability-solutions.s3.amazonaws.com/CloudWatchAgent/CFN/v1.0.0/cw-agent-installation-template-1.0.0.json。

ステップ 4: エージェントのセットアップが正しく設定されていることを確認する

CloudWatch エージェントがインストールされているかどうかは、「CloudWatch エージェントが実行されていることを確認する」の手順に従って確認できます。CloudWatch エージェントがインストールされておらず、実行されていない場合は、すべてが正しく設定されていることを確認してください。

すべてが正しく設定されている場合は、Kafka メトリクスが CloudWatch に公開されているはずです。CloudWatch コンソールをチェックして、公開されていることを確認します。

Kafka ソリューションダッシュボードを作成する

このダッシュボードには、Kafka と基盤となる JVM の両方に対して新しく出力されるメトリクスが表示されます。このダッシュボードには、プロデューサー、ブローカー、コンシューマー全体にわたる Kafka ワークロードのヘルスに寄与する上位の要因が表示されます。寄与する上位の要因のビューには、メトリクスウィジェットあたり上位 10 件が表示されます。これにより、外れ値を一目で特定できます。

ソリューションダッシュボードには EC2 メトリクスは表示されません。EC2 メトリクスを表示するには、EC2 自動ダッシュボードを使用して EC2 からのメトリクスを表示し、EC2 コンソールダッシュボードを使用して CloudWatch エージェントによって収集された EC2 メトリクスを表示する必要があります。AWS サービスの自動ダッシュボードの詳細については、「単一の AWS サービスの CloudWatch ダッシュボードの表示」を参照してください。

ダッシュボードを作成するには、以下のオプションを使用できます。

CloudWatch コンソールを使用してダッシュボードを作成すると、実際に作成して課金される前にダッシュボードをプレビューできます。

何らかの目的でテンプレートファイルを編集してカスタマイズする場合は、[スタックの作成ウィザード] の [テンプレートファイルのアップロード] オプションを使用して、編集したテンプレートをアップロードできます。詳細については、「AWS CloudFormation コンソールからスタックを作成する」を参照してください。次のリンクを使用して、テンプレートをダウンロードできます: https://aws-observability-solutions.s3.amazonaws.com/Kafka_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json。

Kafka ダッシュボードの使用を開始する

新しい Kafka ダッシュボードで試すことができるタスクをいくつか示します。これらのタスクにより、ダッシュボードが正しく機能していることの検証が可能になり、Kafka クラスターをモニタリングするためにダッシュボードを実際に使用する経験ができます。これらを試すと、ダッシュボードの操作に慣れ、可視化されたメトリクスを解釈できるようになっていきます。

ドロップダウンリストの使用

ダッシュボードの上部には、モニタリングする特定の Kafka クラスター、プロデューサー、コンシューマーの各グループをフィルタリングして選択するために使用できるドロップダウンリストが表示されます。

クラスターのヘルスを確認する

[クラスターの概要] セクションから、[レプリケートされているパーティション] ウィジェットと [同期しているレプリカ] ウィジェットを見つけます。これらは、理想的にはゼロまたは少数である必要があります。これらのメトリクスの値が大きい場合は、調査が必要な Kafka クラスターの問題を示している可能性があります。

ブローカーのパフォーマンスを調査する

[ブローカー] セクションで、[失敗したフェッチリクエスト数] ウィジェットと [失敗したプロデューサーリクエスト数] ウィジェットを見つけます。これらはそれぞれ、フェッチオペレーションとプロデュースオペレーションの失敗したリクエストの数を示しています。失敗の率が高い場合は、さらに調査が必要なブローカーやネットワーク接続の問題を示している可能性があります。

プロデューサーのパフォーマンスをモニタリングする

[プロデューサーグループの概要] セクションで、[平均リクエスト率]、[平均リクエストレイテンシー]、および [平均レコード送信/エラー率] の各ウィジェットを見つけます。これらは、選択したグループのプロデューサーのパフォーマンスの概要を示します。[プロデューサー] セクションで特定のプロデューサーとトピックのメトリクスを表示して詳細を確認することもできます。

コンシューマーの遅延をモニタリングする

[コンシューマーグループの概要] セクションで、[コンシューマー遅延] ウィジェットを見つけます。これは、サブスクライブしているパーティション内の最新のオフセットからのメッセージ処理においてコンシューマーが遅れている時間差を示しています。理想的には、コンシューマーの遅延は低いかゼロである必要があります。コンシューマーの遅延が大きい場合は、コンシューマーがデータ生成速度に追いつくことができないことを示している可能性があり、データの損失や処理の遅延につながる可能性があります。[コンシューマー] セクションで特定のコンシューマーとトピックのメトリクスを表示して詳細を確認することもできます。

同じインスタンスで複数の Kafka ロールのエージェントを設定する

このソリューションの CloudWatch エージェント設定 にリストされている Kafka ロールの個々の設定は、プロデューサー、コンシューマー、ブローカーの各ロールが重複することなく別々の EC2 インスタンスにデプロイされている場合にのみ適用されます。同じ Amazon EC2 インスタンスで複数の Kafka ロールを実行している場合は、次の 2 つのオプションがあります。

次の例は、プロデューサーロールとコンシューマーロールが 1 つのインスタンスで同じ JVM プロセスの一部として実行されている CloudWatch エージェント設定を示しています。この場合、ポート番号は、以下の設定のプロデューサー部分とコンシューマー部分の両方で同じである必要があります。一方、2 つのロールが異なる JVM プロセスの一部として実行されていた場合は、個々の JVM プロセスの JMX ポートに従って、それぞれに異なるポート番号を指定できます。

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}