Solución para monitorizar aplicaciones de Kafka con Amazon Managed Grafana

Su espacio de trabajo de Amazon Managed Service for Prometheus para almacenar métricas de Kafka y Java Virtual Machine (JVM) de su clúster de Amazon EKS.

Recopile métricas específicas de Kafka y JVM mediante el CloudWatch agente, así como un complemento de agente. CloudWatch Las métricas están configuradas para enviarse al espacio de trabajo de Amazon Managed Service for Prometheus.

Su espacio de trabajo de Grafana gestionado por Amazon para obtener esas métricas y crear paneles que le ayuden a supervisar su clúster.

Acceso de los usuarios al espacio de trabajo de Amazon Managed Grafana. Para obtener más información acerca de los precios, consulte Precios de Amazon Managed Grafana.

Amazon Managed Service para la ingesta y el almacenamiento de métricas de Prometheus y el análisis de métricas (procesamiento de muestras de consultas). La cantidad de métricas que utiliza esta solución depende de la configuración y el uso de la aplicación.

Puedes ver las métricas de ingesta y almacenamiento en Amazon Managed Service for Prometheus CloudWatch utilizando Para obtener más información, consulta las CloudWatchmétricas en la Guía del usuario de Amazon Managed Service for Prometheus.

Puede calcular el costo utilizando la calculadora de precios de la página Precios de Amazon Managed Service para Prometheus. El número de métricas dependerá del número de nodos del clúster y de las métricas que generen las aplicaciones.

Costos de red. Puede incurrir en cargos de AWS red estándar por tráfico cruzado de zonas de disponibilidad, región u otro tipo de tráfico.

jvm.classes.loaded

jvm.gc.collections.count

jvm.gc.collections.ha transcurrido

jvm.memory.heap.init

jvm.memory.heap.max

jvm.memory.heap.used

jvm.memory.heap.committed

jvm.memory.nonheap.init

jvm.memory.nonheap.max

jvm.memory.nonheap.used

jvm.memory.nonheap.committed

jvm.memory.pool.init

jvm.memory.pool.max

jvm.memory.pool.used

jvm.memory.pool.committed

jvm.threads.count

kafka.message.count

kafka.request.count

kafka.request.failed

kafka.request.time.total

kafka.request.time.50p

kafka.request.time.99p

kafka.request.time.avg

kafka.network.io

kafka.purgatory.size

kafka.partition.count

kafka.partition.offline

kafka.partition.under_replicated

kafka.isr.operation.count

kafka.max.lag

kafka.controller.active.count

kafka.leader.election.rate

kafka.unclean.election.rate

kafka.request.queue

kafka.logs.flush.time.count

kafka.logs.flush.time.median

kafka.logs.flush.time.99p

kafka.consumer.fetch-rate

kafka.consumer. records-lag-max

kafka.consumer.total. bytes-consumed-rate

kafka.consumer.total. fetch-size-avg

kafka.consumer.total. records-consumed-rate

kafka.consumer. bytes-consumed-rate

kafka.consumer. fetch-size-avg

kafka.consumer. records-consumed-rate

kafka.productor. io-wait-time-ns-promedio

kafka.productor. outgoing-byte-rate

kafka.productor. request-latency-avg

kafka.producer.request rate

kafka.producer.ratio de respuesta

kafka.producer.byte-rate

kafka.producer.tasa de compresión

kafka.producer. record-error-rate

kafka.productor. record-retry-rate

kafka.productor. record-send-rate

Debe cumplir todos los requisitos previos antes de instalar la solución.

El clúster debe tener al menos un nodo antes de intentar crear la solución o acceder a las métricas.

Su clúster de Amazon EKS debe tener instalados los complementos AWS CNI, CoreDNS y kube-proxy. Si no están instalados, la solución no funcionará correctamente. Se instalan de forma predeterminada al crear el clúster a través de la consola. Es posible que tengas que instalarlos si el clúster se creó mediante un AWS SDK.

Se agotó el tiempo de espera para la instalación de los pods de Amazon EKS. Esto puede ocurrir si no hay suficiente capacidad de nodos disponible. Estos problemas se deben a varias causas, entre las que se incluyen las siguientes:

No ve ningún panel en Grafana: está utilizando un ID de espacio de trabajo de Grafana incorrecto.

Ejecute el siguiente comando para obtener información acerca de Grafana:

kubectl describe grafanas external-grafana -n grafana-operator

Puede comprobar los resultados para ver la URL del espacio de trabajo correcta. Si no es la que esperaba, vuelva a implementarla con el ID de espacio de trabajo correcto.

Spec:
  External:
    API Key:
      Key:   GF_SECURITY_ADMIN_APIKEY
      Name:  grafana-admin-credentials
    URL:     https://g-123example.grafana-workspace.aws-region.amazonaws.com
Status:
  Admin URL:  https://g-123example.grafana-workspace.aws-region.amazonaws.com
  Dashboards:
    ...

No ve ningún panel en Grafana: está utilizando una clave de API caducada.

Para detectar esto, tendrá que usar el operador grafana y comprobar si hay errores en los registros. Obtenga el nombre del operador de Grafana con este comando:

kubectl get pods -n grafana-operator

Esto devolverá el nombre del operador, por ejemplo:

NAME                               READY   STATUS    RESTARTS   AGE
grafana-operator-1234abcd5678ef90   1/1     Running   0          1h2m

Utilice el nombre del operador en el siguiente comando:

kubectl logs grafana-operator-1234abcd5678ef90 -n grafana-operator

Los mensajes de error como los siguientes indican que la clave de API ha caducado:

ERROR   error reconciling datasource    {"controller": "grafanadatasource", "controllerGroup": "grafana.integreatly.org", "controllerKind": "GrafanaDatasource", "GrafanaDatasource": {"name":"grafanadatasource-sample-amp","namespace":"grafana-operator"}, "namespace": "grafana-operator", "name": "grafanadatasource-sample-amp", "reconcileID": "72cfd60c-a255-44a1-bfbd-88b0cbc4f90c", "datasource": "grafanadatasource-sample-amp", "grafana": "external-grafana", "error": "status: 401, body: {\"message\":\"Expired API key\"}\n"}
github.com/grafana-operator/grafana-operator/controllers.(*GrafanaDatasourceReconciler).Reconcile

En este caso, cree una nueva clave de API y vuelva a implementar la solución. Si el problema persiste, puede forzar la sincronización mediante el siguiente comando antes de volver a implementarlo:

kubectl delete externalsecret/external-secrets-sm -n grafana-operator

Falta el parámetro SSM. Si ve un error similar al siguiente, ejecute cdk bootstrap y vuelva a intentarlo.

Deployment failed: Error: aws-observability-solution-kafka-eks-$EKS_CLUSTER_NAME: SSM 
parameter /cdk-bootstrap/xxxxxxx/version not found. Has the environment been 
bootstrapped? Please run 'cdk bootstrap' (see https://docs.aws.amazon.com/cdk/latest/
guide/bootstrapping.html)