Solução para monitorar aplicativos Kafka com Amazon Managed Grafana

Seu espaço de trabalho do Amazon Managed Service for Prometheus para armazenar métricas Kafka e Java Virtual Machine (JVM) do seu cluster Amazon EKS.

Coleta de métricas específicas do Kafka e da JVM usando o CloudWatch agente, bem como um complemento do agente. CloudWatch As métricas são configuradas para serem enviadas ao espaço de trabalho do Amazon Managed Service for Prometheus.

Seu espaço de trabalho Amazon Managed Grafana para extrair essas métricas e criar painéis para ajudá-lo a monitorar seu cluster.

Acesso dos usuários ao espaço de trabalho do Amazon Managed Grafana. Para obter mais informações sobre preços, consulte Preço do Amazon Managed Grafana.

Amazon Managed Service para ingestão e armazenamento de métricas do Prometheus e análise métrica (processamento de amostras de consulta). O número de métricas usadas por essa solução depende da configuração e do uso do seu aplicativo.

Você pode visualizar as métricas de ingestão e armazenamento no Amazon Managed Service for Prometheus CloudWatch usando Para obter mais informações, consulte as CloudWatchmétricas no Guia do usuário do Amazon Managed Service for Prometheus.

Você pode estimar o custo usando a Calculadora de Preços na página de preços do Amazon Managed Service for Prometheus. A quantidade de métricas dependerá do número de nós no cluster e das métricas que as aplicações produzem.

Custos de rede. Você pode incorrer em cobranças AWS de rede padrão para tráfego entre zonas de disponibilidade, regiões ou outros tipos de tráfego.

jvm.classes.loaded

jvm.gc.collections.count

jvm.gc.collections.expirou

jvm.memory.heap.init

jvm.memory.heap.max

jvm.memory.heap.used

jvm.memory.heap.commited

jvm.memory.nonheap.init

jvm.memory.nonheap.max

jvm.memory.nonheap.used

jvm.memory.nonheap.commit

jvm.memory.pool.init

jvm.memory.pool.max

jvm.memory.pool.usado

jvm.memory.pool.commited

jvm.threads.count

kafka.message.count

kafka.request.count

kafka.request.failed

kafka.request.time.total

kafka.request.time.50p

kafka.request.time.99p

kafka.request.time.avg

kafka.network.io

kafka.purgatory.size

kafka.partition.count

kafka.partition.offline

kafka.partition.under_replicated

kafka.isr.operation.count

kafka.max.lag

kafka.controller.active.count

kafka.leader.election.rate

kafka.unclean.election.rate

kafka.request.queue

kafka.logs.flush.time.count

kafka.logs.flush.time.median

kafka.logs.flush.time.99p

kafka.consumer.fetch-rate

kafka.consumer. records-lag-max

kafka.consumer.total. bytes-consumed-rate

kafka.consumer.total. fetch-size-avg

kafka.consumer.total. records-consumed-rate

kafka.consumer. bytes-consumed-rate

kafka.consumer. fetch-size-avg

kafka.consumer. records-consumed-rate

kafka.productor. io-wait-time-ns-média

kafka.productor. outgoing-byte-rate

kafka.productor. request-latency-avg

kafka.producer.request-rate

kafka.producer.taxa de resposta

kafka.producer.byte-rate

kafka.producer.taxa de compressão

kafka.productor. record-error-rate

kafka.productor. record-retry-rate

kafka.productor. record-send-rate

Você deve concluir todos os pré-requisitos antes de instalar a solução.

O cluster deve ter pelo menos um nó antes de tentar criar a solução ou acessar as métricas.

O cluster do Amazon EKS deve ter os complementos AWS CNI, CoreDNS e kube-proxy instalados. Se eles não estiverem instalados, a solução não funcionará corretamente. Eles são instalados por padrão ao criar o cluster por meio do console. Talvez seja necessário instalá-los se o cluster tiver sido criado por meio de um AWS SDK.

O tempo limite de instalação dos pods do Amazon EKS expirou. Isso poderá acontecer se não houver capacidade suficiente de nós disponível. Há várias causas para esses problemas, incluindo:

Você não vê nenhum dashboard no Grafana: você está usando o ID incorreto do espaço de trabalho do Grafana.

Execute o seguinte comando para obter informações sobre o Grafana:

kubectl describe grafanas external-grafana -n grafana-operator

Você pode verificar os resultados do URL correto do espaço de trabalho. Se não for o que você espera, implante novamente com o ID do espaço de trabalho correto.

Spec:
  External:
    API Key:
      Key:   GF_SECURITY_ADMIN_APIKEY
      Name:  grafana-admin-credentials
    URL:     https://g-123example.grafana-workspace.aws-region.amazonaws.com
Status:
  Admin URL:  https://g-123example.grafana-workspace.aws-region.amazonaws.com
  Dashboards:
    ...

Você não vê nenhum dashboard no Grafana: você está usando uma chave de API expirada.

Para procurar esse caso, você precisará obter o operador do Grafana e verificar se há erros nos logs. Obtenha o nome do operador do Grafana com este comando:

kubectl get pods -n grafana-operator

Isso retornará o nome do operador, por exemplo:

NAME                               READY   STATUS    RESTARTS   AGE
grafana-operator-1234abcd5678ef90   1/1     Running   0          1h2m

Use o nome do operador no seguinte comando:

kubectl logs grafana-operator-1234abcd5678ef90 -n grafana-operator

Mensagens de erro como as seguintes indicam uma chave de API expirada:

ERROR   error reconciling datasource    {"controller": "grafanadatasource", "controllerGroup": "grafana.integreatly.org", "controllerKind": "GrafanaDatasource", "GrafanaDatasource": {"name":"grafanadatasource-sample-amp","namespace":"grafana-operator"}, "namespace": "grafana-operator", "name": "grafanadatasource-sample-amp", "reconcileID": "72cfd60c-a255-44a1-bfbd-88b0cbc4f90c", "datasource": "grafanadatasource-sample-amp", "grafana": "external-grafana", "error": "status: 401, body: {\"message\":\"Expired API key\"}\n"}
github.com/grafana-operator/grafana-operator/controllers.(*GrafanaDatasourceReconciler).Reconcile

Nesse caso, crie uma chave de API e implante a solução novamente. Se o problema persistir, você pode forçar a sincronização usando o seguinte comando antes da nova implantação:

kubectl delete externalsecret/external-secrets-sm -n grafana-operator

Parâmetro SSM ausente. Se você encontrar um erro como a seguir, execute cdk bootstrap e tente novamente.

Deployment failed: Error: aws-observability-solution-kafka-eks-$EKS_CLUSTER_NAME: SSM 
parameter /cdk-bootstrap/xxxxxxx/version not found. Has the environment been 
bootstrapped? Please run 'cdk bootstrap' (see https://docs.aws.amazon.com/cdk/latest/
guide/bootstrapping.html)