CloudWatch 解决方案：Amazon EC2 上的 Kafka 工作负载

此解决方案可帮助您使用 CloudWatch 代理为在 EC2 实例上运行的 Kafka 工作负载（代理、生产者和消费者）配置开箱即用的指标收集。此外，它还可以帮助您设置预配置的 CloudWatch 控制面板。有关所有 CloudWatch 可观测性解决方案的一般信息，请参阅 CloudWatch 可观测性解决方案。

要求

此解决方案适用于以下情况：

优势

该解决方案提供 Kafka 服务器监测，为以下用例提供宝贵的见解：

以下是该解决方案的主要优点：

下图是此解决方案控制面板的示例。

成本

此解决方案在您的账户中创建和使用资源。您需要为标准使用量付费，包括以下各项：

有关 CloudWatch 定价的信息，请参阅 Amazon CloudWatch 定价。

定价计算器可帮助您估算使用此解决方案的每月大致费用。

此解决方案的 CloudWatch 代理配置

CloudWatch 代理是在您的服务器和容器化环境中持续自主运行的软件。它从您的基础设施和应用程序收集指标、日志和跟踪，并将其发送到 CloudWatch 和 X-Ray。

有关 CloudWatch 代理的更多信息，请参阅使用 CloudWatch 代理收集指标、日志和跟踪信息。

此解决方案中的代理配置收集 Kafka、JVM 和 EC2 的基础指标。可以将 CloudWatch 代理配置为收集比控制面板默认显示更多的 Kafka 和 JVM 指标。有关您可以收集的所有 Kafka 指标的列表，请参阅 收集 Kafka 指标。有关您可以收集的所有 JVM 指标的列表，请参阅 收集 JVM 指标。有关 EC2 指标的列表，请参阅 Linux 和 macOS 实例上的 CloudWatch 代理收集的指标。

公开 Kafka 代理、生产者和消费者角色的 JMX 端口

CloudWatch 代理依靠 JMX 来收集与 Kafka 代理、生产者和消费者相关的指标。要做到这一点，必须在服务器和应用程序上公开 JMX 端口。

对于 Kafka 代理，您必须使用 JMX_PORT 环境变量来设置端口。设置此环境变量后，必须重启代理。查看应用程序的起始脚本和配置文件，找到添加这些参数的最佳位置。

例如，对于 Linux 和 macOS 系统，您可以使用以下命令来设置 JMX 端口。请务必指定未使用的端口号。

export JMX_PORT=port-number

对于 Kafka 生产者和消费者，公开 JMX 端口的说明取决于您在生产者或消费者 JVM 应用程序中使用的工作负载类型。有关这些说明，请参阅应用程序的文档。

通常，要启用 JMX 端口进行监测和管理，需要为 JVM 应用程序设置以下系统属性。以下示例设置未经身份验证的 JMX。如果您的安全策略/要求需要使用密码身份验证启用 JMX 或 SSL 进行远程访问，请参阅 JMX 文档以设置所需的属性。

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=port-number
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false

要验证 JMX 端口，请运行 ps aux | grep jmxremote.port。结果应显示已在 JVM 进程上设置了 JMX 端口。

此解决方案的代理配置

代理收集的指标在代理配置中定义。该解决方案提供代理配置，以收集建议的指标，并为解决方案的控制面板提供合适的维度。每个 Kafka 角色（例如代理、生产者或消费者）都有自己的代理配置，可以收集 Kafka 指标以及底层 JVM 和 EC2 指标。

稍后将在为您的解决方案部署代理中介绍部署解决方案的步骤。以下信息旨在帮助您了解如何针对环境自定义代理配置。

您必须针对自己的环境自定义以下代理配置的某些部分：

例如，如果您在同一个账户中运行两个 Kafka 集群，一个用于 order-processing 应用程序，另一个用于 inventory-management 应用程序，则应在代理实例的代理配置中相应地设置 ClusterName 和 ProcessGroupName 维度。

正确设置上述维度后，解决方案控制面板将根据 ClusterName、ProducerGroupName 和 ConsumerGroupName 维度自动对指标进行分组。控制面板将包括下拉选项，用于选择和查看特定集群和组的指标，从而允许您单独监测各个集群和组的性能。

请务必将相关的代理配置部署到正确的 EC2 实例。每个配置都将作为单独参数存储在 SSM 的 Parameter Store 中，稍后将在步骤 2：在 Systems Manager Parameter Store 中存储建议的 CloudWatch 代理配置文件中详细介绍。

以下说明介绍将生产者、消费者和代理角色部署到不同的 EC2 实例而不存在任何重叠的情况。如果您在同一 EC2 实例上运行多个 Kafka 角色，请参阅为同一实例上的多个 Kafka 角色配置代理了解更多信息。

Kafka 代理的代理配置

在部署 Kafka 代理的 EC2 实例上使用以下 CloudWatch 代理配置。将 ClusterName 替换为用于将这些指标分组以获得统一视图的集群名称。您为 ClusterName 指定的值用作 ClusterName 维度和 ProcessGroupName 维度。将 port-number 替换为 Kafka 服务器的 JMX 端口。如果 JMX 启用了密码身份验证或 SSL 进行远程访问，请参阅 收集 Java 管理扩展（JMX）指标，了解有关根据需要设置 TLS 或授权的信息。

此配置（在 JMX 区块之外显示的配置）中显示的 EC2 指标仅适用于 Linux 和 macOS 实例。如果您使用的是 Windows 实例，则可以选择在配置中省略这些指标。有关在 Windows 实例上收集的指标的信息，请参阅 Windows Server 实例上的 CloudWatch 代理收集的指标。

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka": {
            "measurement": [
              "kafka.request.time.avg",
              "kafka.request.failed",
              "kafka.request.count",
              "kafka.purgatory.size",
              "kafka.partition.under_replicated",
              "kafka.partition.offline",
              "kafka.network.io",
              "kafka.leader.election.rate",
              "kafka.isr.operation.count"
            ]
          },
          "append_dimensions": {
            "ClusterName": "ClusterName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "jvm": {
            "measurement": [
              "jvm.classes.loaded",
              "jvm.gc.collections.count",
              "jvm.gc.collections.elapsed",
              "jvm.memory.heap.committed",
              "jvm.memory.heap.max",
              "jvm.memory.heap.used",
              "jvm.memory.nonheap.committed",
              "jvm.memory.nonheap.max",
              "jvm.memory.nonheap.used",
              "jvm.threads.count"
            ]
          },
          "append_dimensions": {
            "ProcessGroupName": "ClusterName"
          }
        }
      ],
      "disk": {
        "measurement": [
          "used_percent"
        ]
      },
      "mem": {
        "measurement": [
          "used_percent"
        ]
      },
      "swap": {
        "measurement": [
          "used_percent"
        ]
      },
      "netstat": {
        "measurement": [
          "tcp_established",
          "tcp_time_wait"
        ]
      }
    }
  }
}

Kafka 生产者的代理配置

在部署 Kafka 生产者的 Amazon EC2 实例上使用以下 CloudWatch 代理配置。将 ProducerGroupName 替换为要用于将指标进行分组以获得统一视图的应用程序或组的名称。将 port-number 替换为 Kafka 生产者应用程序的 JMX 端口。

该解决方案没有为 Kafka 生产者启用 JVM 指标，因为解决方案控制面板未显示与生产者的 JVM 相关的 JVM 指标。您也可以自定义代理配置以发出 JVM 指标，但是，与生产者相关的 JVM 指标在解决方案控制面板上不可见。

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        }
      ]
    }
  }
}

Kafka 消费者的代理配置

在运行 Kafka 消费者的 EC2 实例上使用以下 CloudWatch 代理配置。将 ConsumerGroupName 替换为要用于将这些指标进行分组以获得统一视图的应用程序或组的名称。将 port-number 替换为 Kafka 消费者应用程序的 JMX 端口。

该解决方案没有为 Kafka 消费者启用 JVM 指标，因为解决方案控制面板未显示与消费者的 JVM 相关的 JVM 指标。您也可以自定义代理配置以发出 JVM 指标，但是，与消费者相关的 JVM 指标在解决方案控制面板上不可见。

{
  "metrics": {
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}

为您的解决方案部署代理

安装 CloudWatch 代理有几种方法，具体视用例而定。对于此解决方案，我们建议使用 Systems Manager。它提供了控制台体验，使在单个 AWS 账户中管理一组托管服务器变得更加简单。本节中的说明使用 Systems Manager，适用于没有使用现有配置运行 CloudWatch 代理的情况。您可以按照验证 CloudWatch 代理是否正在运行中的步骤检查 CloudWatch 代理是否正在运行。

如果您已经在部署工作负载的 EC2 主机上运行 CloudWatch 代理并管理代理配置，则可以跳过本节中的说明并按照现有部署机制更新配置。请务必将根据角色（代理、生产者或消费者）的代理配置与现有的代理配置合并，然后部署合并的配置。如果您使用 Systems Manager 存储和管理 CloudWatch 代理的配置，则可以将配置合并到现有参数值。有关更多信息，请参阅 Managing CloudWatch agent configuration files。

部署过程包括以下步骤：

您必须根据自己的代理、生产者和消费者是部署在同一 EC2 实例上还是不同实例上重复这些步骤。例如，如果 Kafka 代理、生产者和消费者部署在不同的实例上而没有重叠，则必须使用代理、生产者和消费者 EC2 实例的相应代理配置重复这些步骤三次。

步骤 1：确保目标 EC2 实例具有所需的 IAM 权限

您必须授予 Systems Manager 安装和配置 CloudWatch 代理的权限。您还必须授予 CloudWatch 代理将遥测数据从 EC2 实例发布到 CloudWatch 的权限。确保附加到实例的 IAM 角色已附加 CloudWatchAgentServerPolicy 和 AmazonSSMManagedInstanceCore IAM 策略。

步骤 2：在 Systems Manager Parameter Store 中存储建议的 CloudWatch 代理配置文件

Parameter Store 通过安全地存储和管理配置参数，简化了 CloudWatch 代理在 EC2 实例上的安装，而无需硬编码值。这可确保更加安全灵活的部署过程，从而实现集中管理，并且可以更轻松地跨多个实例更新配置。

使用以下步骤将建议的 CloudWatch 代理配置文件作为参数存储在 Parameter Store 中。

步骤 3：安装 CloudWatch 代理并使用 AWS CloudFormation 模板应用配置

您可以使用 AWS CloudFormation 安装代理，并将其配置为使用您在前面步骤中创建的 CloudWatch 代理配置。

如果要先编辑模板文件进行自定义，请选择创建堆栈向导下的上传模板文件选项，上传编辑后的模板。有关更多信息，请参阅在 AWS CloudFormation 控制台上创建堆栈。您可以使用以下链接下载模板：https://aws-observability-solutions.s3.amazonaws.com/CloudWatchAgent/CFN/v1.0.0/cw-agent-installation-template-1.0.0.json。

步骤 4：验证代理设置是否正确配置

您可以按照验证 CloudWatch 代理是否正在运行中的步骤验证 CloudWatch 代理是否已安装。如果 CloudWatch 代理尚未安装和运行，请确保已正确设置所有内容。

如果一切设置正确，那么您应该会看到 Kafka 指标发布到 CloudWatch。您可以查看 CloudWatch 控制台以验证这些指标是否已发布。

创建 Kafka 解决方案控制面板

此控制面板显示 Kafka 和底层 JVM 新发出的指标。此控制面板提供了跨生产者、代理和消费者的 Kafka 工作负载运行状况排名靠前的贡献者视图。排名靠前的贡献者视图显示每个指标的前 10 名小部件。这样就能一眼识别出异常值。

解决方案控制面板不显示 EC2 指标。要查看 EC2 指标，您需要使用 EC2 自动控制面板查看 EC2 公开发布的指标，并使用 EC2 控制台控制面板查看 CloudWatch 代理收集的 EC2 指标。有关 AWS 服务自动控制面板的更多信息，请参阅查看单项 AWS 服务的 CloudWatch 控制面板。

要创建控制面板的操作，可以使用以下选项：

通过使用 CloudWatch 控制台创建控制面板，您可以在实际创建和收费之前预览控制面板。

如果要编辑模板文件以出于任何目的对其进行自定义，则可以使用创建堆栈向导下的上传模板文件选项来上传编辑后的模板。有关更多信息，请参阅在 AWS CloudFormation 控制台上创建堆栈。您可以使用以下链接下载模板：https://aws-observability-solutions.s3.amazonaws.com/Kafka_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json。

开始使用 Kafka 控制面板

您可以使用新的 Kafka 控制面板尝试以下几项任务。这些任务允许您验证控制面板是否正常运行，并为您提供使用它来监测 Kafka 集群的一些实践经验。在尝试这些任务的过程中，您将熟悉如何浏览控制面板和解读可视化指标。

使用下拉列表

控制面板顶部提供了下拉列表，可以用来筛选和选择要监测的特定 Kafka 集群、生产者和消费者组。

验证集群运行状况

从集群概览部分中，找到进行复制的分区和进行同步的副本小部件。理想情况下，这些指标应为零或较小的数字。这些指标中的任何一个值较大都可能表明 Kafka 集群存在需要调查的问题。

调查代理性能

在代理部分，找到失败的提取请求和失败的生产者请求小部件。这些小部件分别显示了失败的提取和生产操作请求的数量。高失败率可能表明代理或网络连接存在问题，需要进一步调查。

监测生产者性能

在生产者组概览部分，找到平均请求率、平均请求延迟和平均记录发送/错误率小部件。这些小部件将使您大致了解所选组中生产者的性能。您还可以在生产者部分中深入了解特定生产者和主题的指标。

监测消费者延迟

在消费者组概览部分，找到消费者延迟小部件。这一小部件显示消费者在处理来自其订阅的分区中最新偏移量的消息时的滞后时间。理想情况下，消费者延迟应较低或为零。消费者延迟较高可能表示消费者无法跟上数据生产的速度，从而导致潜在的数据丢失或处理延迟。您还可以在消费者部分中深入了解特定消费者和主题的指标。

为同一实例上的多个 Kafka 角色配置代理

此解决方案的 CloudWatch 代理配置中列出的 Kafka 角色的各种配置仅适用于将生产者、消费者和代理角色部署在不同的 EC2 实例上且没有任何重叠的情况。如果您在同一 Amazon EC2 实例上运行多个 Kafka 角色，则有两种选择：

以下示例显示 CloudWatch 代理配置，其中生产者和消费者角色属于同一 JVM 进程，在一个实例上运行。在这种情况下，以下配置的生产者和消费者部分的端口号必须相同。相反，如果运行的这两个角色属于不同的 JVM 进程，则可以根据每个单独的 JVM 进程的 JMX 端口为每个角色指定不同的端口号。

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}