Solution pour surveiller les applications Kafka avec Amazon Managed Grafana

Votre espace de travail Amazon Managed Service for Prometheus pour stocker les métriques de Kafka et de machine virtuelle Java (JVM) à partir de votre cluster Amazon EKS.

Collecte de métriques Kafka et JVM spécifiques à l'aide de l' CloudWatch agent, ainsi que d'un module complémentaire d' CloudWatch agent. Les métriques sont configurées pour être envoyées à l'espace de travail Amazon Managed Service for Prometheus.

Votre espace de travail Amazon Managed Grafana pour extraire ces statistiques et créer des tableaux de bord pour vous aider à surveiller votre cluster.

Accès des utilisateurs à l'espace de travail de Grafana géré par Amazon. Pour plus d'informations sur les tarifs, consultez les tarifs d'Amazon Managed Grafana.

Amazon Managed Service pour l'ingestion et le stockage des métriques Prometheus, ainsi que pour l'analyse des métriques (traitement des échantillons de requêtes). Le nombre de métriques utilisées par cette solution dépend de la configuration et de l'utilisation de votre application.

Vous pouvez consulter les statistiques d'ingestion et de stockage dans Amazon Managed Service for Prometheus à CloudWatch l'aide de Pour plus d'informations, CloudWatchconsultez le guide de l'utilisateur d'Amazon Managed Service for Prometheus.

Vous pouvez estimer le coût à l'aide du calculateur de prix sur la page de tarification d'Amazon Managed Service for Prometheus. Le nombre de métriques dépendra du nombre de nœuds de votre cluster et des métriques produites par vos applications.

Coûts de mise en réseau. Des frais AWS réseau standard peuvent vous être facturés pour le trafic entre zones de disponibilité, régions ou autres.

jvm.classes.loaded

jvm.gc.collections.count

jvm.gc.collections.elapsed

jvm.memory.heap.init

jvm.memory.heap.max

jvm.memory.heap.used

jvm.memory.heap.committed

jvm.memory.nonheap.init

jvm.memory.nonheap.max

jvm.memory.nonheap.used

jvm.memory.nonheap.committed

jvm.memory.pool.init

jvm.memory.pool.max

jvm.memory.pool.used

jvm.memory.pool.committed

jvm.threads.count

kafka.message.count

kafka.request.count

kafka.request.failed

kafka.request.time.total

kafka.request.time.50 p

kafka.request.time.99p

kafka.request.time.avg

kafka.network.io

kafka.purgatory.size

kafka.partition.count

kafka.partition.offline

kafka.partition.under_replicated

kafka.isr.operation.count

kafka.max.lag

kafka.controller.active.count

kafka.leader.election.rate

kafka.unclean.election.rate

kafka.request.queue

kafka.logs.flush.time.count

kafka.logs.flush.time.median

kafka.logs.flush.time.99p

kafka.consumer.fetch-rate

kafka.consumer. records-lag-max

kafka.consumer.total. bytes-consumed-rate

kafka.consumer.total. fetch-size-avg

kafka.consumer.total. records-consumed-rate

kafka.consumer. bytes-consumed-rate

kafka.consumer. fetch-size-avg

kafka.consumer. records-consumed-rate

Kafka. Producteur. io-wait-time-ns-moyenne

Kafka. Producteur. outgoing-byte-rate

Kafka. Producteur. request-latency-avg

kafka.producer.request-rate

kafka.producer.response-rate

kafka.producer.byte-rate

kafka.producer.taux de compression

Kafka. Producteur. record-error-rate

Kafka. Producteur. record-retry-rate

Kafka. Producteur. record-send-rate

Vous devez remplir tous les prérequis avant d'installer la solution.

Le cluster doit contenir au moins un nœud avant de tenter de créer la solution ou d'accéder aux métriques.

Les modules complémentaires CoreDNS et les kube-proxy modules complémentaires doivent être installés sur AWS CNI votre cluster Amazon EKS. S'ils ne sont pas installés, la solution ne fonctionnera pas correctement. Ils sont installés par défaut, lors de la création du cluster via la console. Vous devrez peut-être les installer si le cluster a été créé via un AWS SDK.

Le délai d'installation des modules Amazon EKS a expiré. Cela peut se produire si la capacité des nœuds n'est pas suffisante. Les causes de ces problèmes sont multiples, notamment :

Vous ne voyez aucun tableau de bord dans Grafana : l'identifiant de l'espace de travail Grafana est incorrect.

Exécutez la commande suivante pour obtenir des informations sur Grafana :

kubectl describe grafanas external-grafana -n grafana-operator

Vous pouvez vérifier les résultats pour trouver l'URL de l'espace de travail correcte. Si ce n'est pas celui que vous attendez, redéployez-le avec le bon identifiant d'espace de travail.

Spec:
  External:
    API Key:
      Key:   GF_SECURITY_ADMIN_APIKEY
      Name:  grafana-admin-credentials
    URL:     https://g-123example.grafana-workspace.aws-region.amazonaws.com
Status:
  Admin URL:  https://g-123example.grafana-workspace.aws-region.amazonaws.com
  Dashboards:
    ...

Vous ne voyez aucun tableau de bord dans Grafana : vous utilisez une clé d'API expirée.

Pour rechercher ce cas, vous devez obtenir l'opérateur grafana et vérifier la présence d'erreurs dans les journaux. Obtenez le nom de l'opérateur Grafana avec cette commande :

kubectl get pods -n grafana-operator

Cela renverra le nom de l'opérateur, par exemple :

NAME                               READY   STATUS    RESTARTS   AGE
grafana-operator-1234abcd5678ef90   1/1     Running   0          1h2m

Utilisez le nom de l'opérateur dans la commande suivante :

kubectl logs grafana-operator-1234abcd5678ef90 -n grafana-operator

Les messages d'erreur tels que les suivants indiquent une clé d'API expirée :

ERROR   error reconciling datasource    {"controller": "grafanadatasource", "controllerGroup": "grafana.integreatly.org", "controllerKind": "GrafanaDatasource", "GrafanaDatasource": {"name":"grafanadatasource-sample-amp","namespace":"grafana-operator"}, "namespace": "grafana-operator", "name": "grafanadatasource-sample-amp", "reconcileID": "72cfd60c-a255-44a1-bfbd-88b0cbc4f90c", "datasource": "grafanadatasource-sample-amp", "grafana": "external-grafana", "error": "status: 401, body: {\"message\":\"Expired API key\"}\n"}
github.com/grafana-operator/grafana-operator/controllers.(*GrafanaDatasourceReconciler).Reconcile

Dans ce cas, créez une nouvelle clé d'API et déployez à nouveau la solution. Si le problème persiste, vous pouvez forcer la synchronisation à l'aide de la commande suivante avant le redéploiement :

kubectl delete externalsecret/external-secrets-sm -n grafana-operator

Paramètre SSM manquant. Si le message d'erreur suivant s'affiche, exécutez cdk bootstrap et réessayez.

Deployment failed: Error: aws-observability-solution-kafka-eks-$EKS_CLUSTER_NAME: SSM 
parameter /cdk-bootstrap/xxxxxxx/version not found. Has the environment been 
bootstrapped? Please run 'cdk bootstrap' (see https://docs.aws.amazon.com/cdk/latest/
guide/bootstrapping.html)