Lösung für die Überwachung von Kafka-Anwendungen mit Amazon Managed Grafana

Ihr Amazon Managed Service for Prometheus Workspace zum Speichern von Kafka- und Java Virtual Machine (JVM) -Metriken aus Ihrem Amazon EKS-Cluster.

Erfassung spezifischer Kafka- und JVM-Metriken mithilfe des CloudWatch Agenten sowie eines Agenten-Add-ons. CloudWatch Die Metriken sind so konfiguriert, dass sie an den Amazon Managed Service for Prometheus Workspace gesendet werden.

Ihr Amazon Managed Grafana-Workspace, um diese Metriken abzurufen und Dashboards zu erstellen, mit denen Sie Ihren Cluster überwachen können.

Zugriff auf Amazon Managed Grafana-Workspace durch Benutzer. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Managed Grafana-Preise.

Amazon Managed Service für die Erfassung und Speicherung von Metriken mit Prometheus sowie die metrische Analyse (Verarbeitung von Abfragebeispielen). Die Anzahl der von dieser Lösung verwendeten Metriken hängt von Ihrer Anwendungskonfiguration und -nutzung ab.

Sie können die Aufnahme- und Speichermetriken in Amazon Managed Service for Prometheus unter Weitere Informationen finden Sie unter CloudWatch CloudWatchMetriken im Amazon Managed Service for Prometheus User Guide.

Sie können die Kosten mit dem Preisrechner auf der Preisseite von Amazon Managed Service für Prometheus abschätzen. Die Anzahl der Metriken hängt von der Anzahl der Knoten in Ihrem Cluster und den Metriken ab, die Ihre Anwendungen erzeugen.

Netzwerkkosten. Möglicherweise fallen AWS Standardnetzwerkgebühren für zonenübergreifenden, regionalen oder anderen Datenverkehr an.

jvm.classes.loaded

jvm.gc.collections.count

jvm.gc.collections.elapsed

jvm.memory.heap.init

jvm.memory.heap.max

jvm.memory.heap.used

jvm.memory.heap.committed

jvm.memory.nonheap.init

jvm.memory.nonheap.max

jvm.memory.nonheap.used

jvm.memory.nonheap.committed

jvm.memory.pool.init

jvm.memory.pool.max

jvm.memory.pool.gebraucht

jvm.memory.pool.committed

jvm.threads.count

kafka.message.count

kafka.request.count

kafka.request.ist fehlgeschlagen

kafka.request.time.total

kafka.request.time.50p

kafka.request.time.99p

kafka.request.time.avg

kafka.network.io

kafka.purgatory.size

kafka.partition.count

kafka.partition.offline

kafka.partition.under_repliziert

kafka.isr.operation.count

kafka.max.lag

kafka.controller.active.count

kafka.leader.election.rate

kafka.unclean.election.rate

kafka.request.queue

kafka.logs.flush.time.count

kafka.logs.flush.time.median

kafka.logs.flush.time.99p

kafka.consumer.fetch-rate

kafka.verbraucher. records-lag-max

kafka.consumer.total. bytes-consumed-rate

kafka.consumer.total. fetch-size-avg

kafka.consumer.total. records-consumed-rate

kafka.consumer. bytes-consumed-rate

kafka.consumer. fetch-size-avg

kafka.consumer. records-consumed-rate

kafka.produzent. io-wait-time-ns-durchschnittlich

kafka.produzent. outgoing-byte-rate

kafka.produzent. request-latency-avg

kafka.producer.request-rate

kafka.producer.Antwortrate

kafka.producer.byte-rate

kafka.producer.com/Kompressionsrate

kafka.producer. record-error-rate

kafka.produzent. record-retry-rate

kafka.produzent. record-send-rate

Sie müssen alle Voraussetzungen erfüllen, bevor Sie die Lösung installieren können.

Der Cluster muss mindestens einen Knoten enthalten, bevor Sie versuchen können, die Lösung zu erstellen oder auf die Metriken zuzugreifen.

In Ihrem Amazon EKS-Cluster müssen die AWS CNI CoreDNS und kube-proxy Add-Ons installiert sein. Wenn sie nicht installiert sind, funktioniert die Lösung nicht richtig. Sie werden standardmäßig installiert, wenn der Cluster über die Konsole erstellt wird. Möglicherweise müssen Sie sie installieren, wenn der Cluster über ein AWS SDK erstellt wurde.

Bei der Installation der Amazon EKS-Pods wurde das Zeitlimit überschritten. Dies kann passieren, wenn nicht genügend Knotenkapazität verfügbar ist. Es gibt mehrere Ursachen für diese Probleme, darunter:

Sie sehen in Grafana keine Dashboards: Sie verwenden die falsche Grafana-Workspace-ID.

Führen Sie den folgenden Befehl aus, um Informationen über Grafana zu erhalten:

kubectl describe grafanas external-grafana -n grafana-operator

Sie können die Ergebnisse auf die richtige Workspace-URL überprüfen. Wenn es sich nicht um die erwartete handelt, führen Sie die Bereitstellung erneut mit der richtigen Workspace-ID durch.

Spec:
  External:
    API Key:
      Key:   GF_SECURITY_ADMIN_APIKEY
      Name:  grafana-admin-credentials
    URL:     https://g-123example.grafana-workspace.aws-region.amazonaws.com
Status:
  Admin URL:  https://g-123example.grafana-workspace.aws-region.amazonaws.com
  Dashboards:
    ...

In Grafana werden keine Dashboards angezeigt: Sie verwenden einen abgelaufenen API-Schlüssel.

Um nach diesem Fall zu suchen, müssen Sie den Grafana-Operator aufrufen und die Protokolle auf Fehler überprüfen. Rufen Sie den Namen des Grafana-Operators mit diesem Befehl ab:

kubectl get pods -n grafana-operator

Dadurch wird der Name des Operators zurückgegeben, zum Beispiel:

NAME                               READY   STATUS    RESTARTS   AGE
grafana-operator-1234abcd5678ef90   1/1     Running   0          1h2m

Verwenden Sie den Operatornamen im folgenden Befehl:

kubectl logs grafana-operator-1234abcd5678ef90 -n grafana-operator

Fehlermeldungen wie die folgenden weisen auf einen abgelaufenen API-Schlüssel hin:

ERROR   error reconciling datasource    {"controller": "grafanadatasource", "controllerGroup": "grafana.integreatly.org", "controllerKind": "GrafanaDatasource", "GrafanaDatasource": {"name":"grafanadatasource-sample-amp","namespace":"grafana-operator"}, "namespace": "grafana-operator", "name": "grafanadatasource-sample-amp", "reconcileID": "72cfd60c-a255-44a1-bfbd-88b0cbc4f90c", "datasource": "grafanadatasource-sample-amp", "grafana": "external-grafana", "error": "status: 401, body: {\"message\":\"Expired API key\"}\n"}
github.com/grafana-operator/grafana-operator/controllers.(*GrafanaDatasourceReconciler).Reconcile

Erstellen Sie in diesem Fall einen neuen API-Schlüssel und stellen Sie die Lösung erneut bereit. Wenn das Problem weiterhin besteht, können Sie vor der erneuten Bereitstellung die Synchronisation mithilfe des folgenden Befehls erzwingen:

kubectl delete externalsecret/external-secrets-sm -n grafana-operator

Fehlender SSM-Parameter. Wenn Sie einen Fehler wie den folgenden sehen, führen Sie ihn aus cdk bootstrap und versuchen Sie es erneut.

Deployment failed: Error: aws-observability-solution-kafka-eks-$EKS_CLUSTER_NAME: SSM 
parameter /cdk-bootstrap/xxxxxxx/version not found. Has the environment been 
bootstrapped? Please run 'cdk bootstrap' (see https://docs.aws.amazon.com/cdk/latest/
guide/bootstrapping.html)