在 Ama LinkedIn zon 上使用 Apache Kafka 的巡航控制系统 MSK

在与亚马逊MSK集群VPC相同的亚马逊中创建一个 Amazon EC2 实例。

在上一步中创建的EC2亚马逊实例上安装 Prometheus。记下私有 IP 和端口。默认端口号为 9090。有关如何配置 Prometheus 以聚合集群指标的信息，请参阅使用 Prometheus 监控MSK已配置的集群。

在 Amazon EC2 实例上下载 C ruise Control。（或者，如果您愿意，也可以使用单独的 Amazon EC2 实例进行巡航控制。） 对于具有 Apache Kafka 版本 2.4.* 的集群，请使用最新的 2.4.* Cruise Control 版本。如果集群的 Apache Kafka 版本早于 2.4.*，请使用最新的 2.0.* Cruise Control 版本。

解压缩 Cruise Control 文件，然后转到解压缩后的文件夹。

运行以下命令以安装 Git：

sudo yum -y install git

运行以下命令以初始化本地存储库。Your-Cruise-Control-Folder替换为当前文件夹（您在解压Cruise Control下载文件时获得的文件夹）的名称。

git init && git add . && git commit -m "Init local repo." && git tag -a Your-Cruise-Control-Folder -m "Init local version."

运行以下命令以安装并构建源代码。

./gradlew jar copyDependantLibs

对 config/cruisecontrol.properties 文件进行以下更新。将示例引导服务器和引导代理字符串替换为集群的值。要获取集群的这些字符串，您可以在控制台中查看集群详细信息。或者，您可以使用GetBootstrapBrokers和DescribeClusterAPI运算或它们的CLI等效操作。

# If using TLS encryption, use 9094; use 9092 if using plaintext
bootstrap.servers=b-1.test-cluster.2skv42.c1.kafka.us-east-1.amazonaws.com:9094,b-2.test-cluster.2skv42.c1.kafka.us-east-1.amazonaws.com:9094,b-3.test-cluster.2skv42.c1.kafka.us-east-1.amazonaws.com:9094
    
# SSL properties, needed if cluster is using TLS encryption
security.protocol=SSL
ssl.truststore.location=/home/ec2-user/kafka.client.truststore.jks
    
# Use the Prometheus Metric Sampler
metric.sampler.class=com.linkedin.kafka.cruisecontrol.monitor.sampling.prometheus.PrometheusMetricSampler
    
# Prometheus Metric Sampler specific configuration
prometheus.server.endpoint=1.2.3.4:9090 # Replace with your Prometheus IP and port
    
# Change the capacity config file and specify its path; details below
capacity.config.file=config/capacityCores.json

对于 Express brokers，我们建议您不要DiskCapacityGoal在分析器配置中配置的任何目标中使用。

编辑config/capacityCores.json文件以指定正确的磁盘大小和CPU内核以及网络输入/输出限制。对于 Express 经纪商，只有在设置巡航控制时才需要输入DISK容量。由于MSK管理 Express 经纪商的所有存储，因此应将此值设置为极高的数字，例如Integer.MAX_VALUE (2147483647)。对于标准代理，您可以使用DescribeClusterAPI操作（或 desc ribe-clusterCLI）来获取磁盘大小。有关CPU核心和网络输入/输出限制，请参阅 Amazon EC2 实例类型。

您可以选择安装 Cruise Control UI。如需下载，请转到 Setting Up Cruise Control Frontend。

运行以下命令以启动 Cruise Control。考虑使用类似 screen 或 tmux 的工具来保持长时间运行的会话处于开放状态。

<path-to-your-kafka-installation>/bin/kafka-cruise-control-start.sh config/cruisecontrol.properties 9091

使用 Cruise Control APIs 或 UI 来确保 Cruise Control 拥有集群负载数据并提出重新平衡建议。获得有效的指标窗口可能需要几分钟时间。