Amazon Managed Grafana で Kafka アプリケーションをモニタリングするためのソリューション

Amazon EKS クラスターから Kafka および Java 仮想マシン (JVM) メトリクスを保存する Amazon Managed Service for Prometheus ワークスペース。

CloudWatch エージェントと CloudWatch エージェントアドオンを使用して、特定の Kafka および JVM メトリクスを収集します。メトリクスは、Amazon Managed Service for Prometheus ワークスペースに送信するように設定されています。

これらのメトリクスをプルし、クラスターのモニタリングに役立つダッシュボードを作成するための Amazon Managed Grafana ワークスペース。

ユーザーによる Amazon Managed Grafana ワークスペースアクセス。料金に関する詳細については、「Amazon Managed Grafana の料金」を参照してください。

Amazon Managed Service for Prometheus メトリクスの取り込みとストレージ、およびメトリクス分析 (クエリサンプル処理）。このソリューションで使用されるメトリクスの数は、アプリケーションの設定と使用状況によって異なります。

CloudWatch を使用して、Amazon Managed Service for Prometheus で取り込みメトリクスとストレージメトリクスを表示できます。詳細については、Amazon Managed Service for Prometheus ユーザーガイドの [CloudWatch メトリクス] を参照してください。

Amazon Managed Service for Prometheus の料金ページでは、料金計算ツールを使用してコストを見積もることができます。メトリクス数は、クラスター内のノード数と、アプリケーションが生成するメトリクスによって異なります。

ネットワークコスト。クロスアベイラビリティーゾーン、リージョン、またはその他のトラフィックに対して標準 AWS ネットワーク料金が発生する場合があります。

jvm.classes.loaded

jvm.gc.collections.count

jvm.gc.collections.elapsed

jvm.memory.heap.init

jvm.memory.heap.max

jvm.memory.heap.used

jvm.memory.heap.committed

jvm.memory.nonheap.init

jvm.memory.nonheap.max

jvm.memory.nonheap.used

jvm.memory.nonheap.committed

jvm.memory.pool.init

jvm.memory.pool.max

jvm.memory.pool.used

jvm.memory.pool.committed

jvm.threads.count

kafka.message.count

kafka.request.count

kafka.request.failed

kafka.request.time.total

kafka.request.time.50p

kafka.request.time.99p

kafka.request.time.avg

kafka.network.io

kafka.purgatory.size

kafka.partition.count

kafka.partition.offline

kafka.partition.under_replicated

kafka.isr.operation.count

kafka.max.lag

kafka.controller.active.count

kafka.leader.election.rate

kafka.unclean.election.rate

kafka.request.queue

kafka.logs.flush.time.count

kafka.logs.flush.time.median

kafka.logs.flush.time.99p

kafka.consumer.fetch-rate

kafka.consumer.records-lag-max

kafka.consumer.total.bytes-consumed-rate

kafka.consumer.total.fetch-size-avg

kafka.consumer.total.records-consumed-rate

kafka.consumer.bytes-consumed-rate

kafka.consumer.fetch-size-avg

kafka.consumer.records-consumed-rate

kafka.producer.io-wait-time-ns-avg

kafka.producer.outgoing-byte-rate

kafka.producer.request-latency-avg

kafka.producer.request-rate

kafka.producer.response-rate

kafka.producer.byte-rate

kafka.producer.compression-rate

kafka.producer.record-error-rate

kafka.producer.record-retry-rate

kafka.producer.record-send-rate

ソリューションのインストール前にすべての [前提条件] を完了する必要があります。

ソリューションの作成やメトリクスへのアクセスを試みる前に、クラスターに少なくとも 1 つのノードを含める必要があります。

Amazon EKS クラスターには、AWS CNI、CoreDNS、kube-proxy アドオンをインストールする必要があります。インストールしないとソリューションが正しく動作しません。これらは、コンソールを介してクラスターを作成するときにデフォルトでインストールされます。クラスターが AWS SDK を使用して作成された場合は、インストールが必要になる場合があります。

Amazon EKS ポッドのインストールがタイムアウトしました。これは、使用可能なノード容量が十分でないときに発生する場合があります。これらの問題には、次のような複数の原因があります。

Grafana にダッシュボードが表示されません: 間違った Grafana ワークスペース ID を使用しています。

以下のコマンドを実行して Grafana に関する情報を取得してください。

kubectl describe grafanas external-grafana -n grafana-operator

正しいワークスペース URL の結果を確認できます。予想しているものでない場合は、正しいワークスペース ID で再デプロイします。

Spec:
  External:
    API Key:
      Key:   GF_SECURITY_ADMIN_APIKEY
      Name:  grafana-admin-credentials
    URL:     https://g-123example.grafana-workspace.aws-region.amazonaws.com
Status:
  Admin URL:  https://g-123example.grafana-workspace.aws-region.amazonaws.com
  Dashboards:
    ...

Grafana にダッシュボードが表示されません: 期限切れの API キーを使用しています。

この場合の検索では、grafana 演算子を取得して、ログにエラーがないことを確認する必要があります。次のコマンドを使用して Grafana 演算子の名前を取得します。

kubectl get pods -n grafana-operator

次のような演算子名が返されます。

NAME                               READY   STATUS    RESTARTS   AGE
grafana-operator-1234abcd5678ef90   1/1     Running   0          1h2m

次のコマンドで演算子名を使用します。

kubectl logs grafana-operator-1234abcd5678ef90 -n grafana-operator

次のようなエラーメッセージは、API キーの有効期限が切れたことを示しています。

ERROR   error reconciling datasource    {"controller": "grafanadatasource", "controllerGroup": "grafana.integreatly.org", "controllerKind": "GrafanaDatasource", "GrafanaDatasource": {"name":"grafanadatasource-sample-amp","namespace":"grafana-operator"}, "namespace": "grafana-operator", "name": "grafanadatasource-sample-amp", "reconcileID": "72cfd60c-a255-44a1-bfbd-88b0cbc4f90c", "datasource": "grafanadatasource-sample-amp", "grafana": "external-grafana", "error": "status: 401, body: {\"message\":\"Expired API key\"}\n"}
github.com/grafana-operator/grafana-operator/controllers.(*GrafanaDatasourceReconciler).Reconcile

この場合は、新しい API キーを作成してソリューションを再度デプロイします。問題が解決しない場合は、再びデプロイする前に次のコマンドを使用して強制的に同期できます。

kubectl delete externalsecret/external-secrets-sm -n grafana-operator

SSM パラメータがありません。次のようなエラーが表示される場合は、cdk bootstrap を実行して再試行してください。

Deployment failed: Error: aws-observability-solution-kafka-eks-$EKS_CLUSTER_NAME: SSM 
parameter /cdk-bootstrap/xxxxxxx/version not found. Has the environment been 
bootstrapped? Please run 'cdk bootstrap' (see https://docs.aws.amazon.com/cdk/latest/
guide/bootstrapping.html)