使用亚马逊托管 Grafana 监控 Kafka 应用程序的解决方案

您的亚马逊托管服务 Prometheus 工作空间，用于存储来自您的亚马逊集群的 Kafka 和 Java 虚拟机 (JVM) 指标。EKS

使用代理以及 CloudWatch CloudWatch 代理插件收集特定的 Kafka 和JVM指标。这些指标配置为发送到适用于 Prometheus 的亚马逊托管服务工作区。

您的 Amazon Managed Grafana 工作区用于提取这些指标，并创建控制面板来帮助您监控集群。

用户的 Amazon Managed Grafana 工作区访问权限。有关定价的更多信息，请参阅 Amazon Managed Grafana 定价。

适用于 Prometheus 的亚马逊托管服务指标摄取和存储，以及指标分析（查询样本处理）。此解决方案使用的指标数量取决于您的应用程序配置和使用情况。

您可以使用在 Prometheus 的亚马逊托管服务中查看摄取和存储指标。有关更多信息，请参阅适用于 Prometheus CloudWatch 的亚马逊托管服务用户CloudWatch指南中的指标。

您可以使用 Amazon Managed Service for Prometheus 定价页面上的定价计算器估算成本。指标的数量将取决于集群中的节点数量以及您的应用程序生成的指标。

联网成本。跨可用区、区域或其他流量可能会产生标准 AWS 网络费用。

jvm.classes.load

jvm.gc.collections.count

jvm.gc.collections.elapsed

jvm.memory.heap.init

jvm.memory.heap.max

jvm.memory.heap.used

jvm.memory.heap.commited

jvm.memory.nonheap.init

jvm.memory.nonheap.max

jvm.memory.nonheap.used

jvm.memory.nonheap.commited

jvm.memory.pool.init

jvm.memory.pool.max

jvm.memory.pool.used

jvm.memory.pool.commit

jvm.threads.count

kafka.message.count

kafka.count

kafka.request.f

kafka.request.time.t

kafka.request.time.50p

kafka.request.time.99p

kafka.request.time.avg

kafka.network.i

kafka.purgatory.size

kafka.partition.count

kafka.partition.of

kafka.partition.under_rep

kafka.isr.operation.co

kafka.max.lag

kafka.controller.active.count

kafka.leader.election.rate

kafka.unclean.election.rate

kafka.requeut.q

kafka.logs.flush.time.co

kafka.logs.flush.time.m

kafka.logs.flush.time.99p

kafka.consumer.fetch-rate

kafka.consumer records-lag-max

kafka.consumer.total。 bytes-consumed-rate

kafka.consumer.total。 fetch-size-avg

kafka.consumer.total。 records-consumed-rate

kafka.consumer bytes-consumed-rate

kafka.consumer fetch-size-avg

kafka.consumer records-consumed-rate

kafka.produc io-wait-time-ns-平均

kafka.produc outgoing-byte-rate

kafka.produc request-latency-avg

kafka.producer.request-

kafka.producer.response

kafka.producer.byte-r

kafka.producer.压缩率

kafka.produc record-error-rate

kafka.produc record-retry-rate

kafka.produc record-send-rate

安装解决方案之前，必须完成所有先决条件。

在尝试创建解决方案或访问指标之前，集群中必须至少有一个节点。

您的 Amazon EKS 集群必须安装CoreDNS和kube-proxy附加组件。AWS CNI如果未安装这些附加组件，则解决方案将无法正常运行。默认情况下，会在通过控制台创建集群时进行安装。如果集群是通过创建的，则可能需要安装它们 AWS SDK。

亚马逊 EKS pod 安装超时。如果没有足够的可用节点容量，就会发生这种情况。造成这些问题的原因有多种，包括：

您在 Grafana 中看不到任何控制面板：使用了错误的 Grafana 工作区 ID。

运行以下命令可获取有关 Grafana 的信息。

kubectl describe grafanas external-grafana -n grafana-operator

您可以检查正确的工作空间的结果URL。如果 URL 不是您期望的 URL，请使用正确的工作区 ID 重新部署。

Spec:
  External:
    API Key:
      Key:   GF_SECURITY_ADMIN_APIKEY
      Name:  grafana-admin-credentials
    URL:     https://g-123example.grafana-workspace.aws-region.amazonaws.com
Status:
  Admin URL:  https://g-123example.grafana-workspace.aws-region.amazonaws.com
  Dashboards:
    ...

您在 Grafana 中看不到任何仪表板：您使用的密钥已过期。API

要查找这种情况，您需要找到 Grafana 操作员并检查日志中是否有错误。使用以下命令获取 Grafana 操作员的姓名：

kubectl get pods -n grafana-operator

这将返回操作员姓名，例如：

NAME                               READY   STATUS    RESTARTS   AGE
grafana-operator-1234abcd5678ef90   1/1     Running   0          1h2m

在以下命令中使用操作员名称：

kubectl logs grafana-operator-1234abcd5678ef90 -n grafana-operator

诸如以下的错误消息表示API密钥已过期：

ERROR   error reconciling datasource    {"controller": "grafanadatasource", "controllerGroup": "grafana.integreatly.org", "controllerKind": "GrafanaDatasource", "GrafanaDatasource": {"name":"grafanadatasource-sample-amp","namespace":"grafana-operator"}, "namespace": "grafana-operator", "name": "grafanadatasource-sample-amp", "reconcileID": "72cfd60c-a255-44a1-bfbd-88b0cbc4f90c", "datasource": "grafanadatasource-sample-amp", "grafana": "external-grafana", "error": "status: 401, body: {\"message\":\"Expired API key\"}\n"}
github.com/grafana-operator/grafana-operator/controllers.(*GrafanaDatasourceReconciler).Reconcile

在这种情况下，请创建一个新API密钥并重新部署解决方案。如果问题仍然存在，则可以在重新部署之前使用以下命令强制同步：

kubectl delete externalsecret/external-secrets-sm -n grafana-operator

缺少SSM参数。如果您看到类似于以下内容的错误，请运行 cdk bootstrap 并重试。

Deployment failed: Error: aws-observability-solution-kafka-eks-$EKS_CLUSTER_NAME: SSM 
parameter /cdk-bootstrap/xxxxxxx/version not found. Has the environment been 
bootstrapped? Please run 'cdk bootstrap' (see https://docs.aws.amazon.com/cdk/latest/
guide/bootstrapping.html)