View a markdown version of this page

集群的智能再平衡 - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

集群的智能再平衡

Amazon MSK 为所有带有 Express 代理的新 MSK 预配置集群提供智能再平衡。此功能可自动管理分区分配和集群扩展操作,无需使用第三方工具。当您向上或向下扩展集群时,智能再平衡会自动重新平衡分区。它还会持续监控集群的运行状况,以防资源失衡或过载,并重新分配工作负载。

智能再平衡提供在 30 分钟内完成的快速扩展操作,并且在扩展期间不会影响集群的可用性。对于所有新的 MSK Provisione Express-based d 集群,它默认处于启用状态,建议的最大分区限制为每个代理 20,000 个分区。此外,此功能无需支付额外费用,也不需要任何配置。

自 2025 年 11 月 20 日起,智能再平衡将在支持亚马逊 MSK Express 经纪商的所有 AWS 地区推出。

自 2026 年 6 月 18 日起,所有带有 Express 代理的 MSK 预配置集群均可使用智能再平衡。这包括在 2025 年 11 月推出智能再平衡功能之前创建的 Express 集群。对于 2025 年 11 月 20 日之前创建的集群,可以使用 “智能再平衡”,并将 “重新平衡状态” 设置为 “已暂停”要为现有集群启用此功能,请使用 Amazon MSK 控制台或 SDK 将 “重新平衡状态” 设置为 “活动”。 AWS CLI有关说明,请参阅稳态再平衡

智能再平衡的工作原理

默认情况下,所有带有 Express 代理的新 MSK 预配置集群的智能再平衡处于启用状态。它包括对以下情况的支持:

  • 向@@ 上和向下扩展:只需单击一下即可在 MSK Express-based 集群中添加或删除代理。指定要添加或删除的代理后,智能再平衡会根据内部 AWS 最佳实践自动在新集群设置中重新分配分区。

  • 稳定状态重新平衡:在稳定状态下,此功能会持续监控集群的运行状况,并在以下情况下自动重新平衡分区:

    • 资源利用率因代理而异。

    • 经纪商变得过度配置或利用不足。

    • 添加了新的经纪人或删除了现有的经纪人。

注意

如果启用了智能重新平衡,您将无法使用第三方工具(例如 Cruise Control)进行分区重新平衡。您必须先暂停智能重新平衡,才能使用这些第三方工具提供的分区重新分配 API。

您可以在 Amazon MSK 控制台中使用此功能。您也可以使用 Amazon M AWS SK API 或软件开发工具包来使用此功能,以及。 AWS CLI AWS CloudFormation有关更多信息,请参阅扩展 Amazon MSK 集群稳态再平衡

监控智能再平衡指标

您可以使用以下 Amazon CloudWatch 指标监控正在进行的和历史的智能再平衡操作的状态:

  • RebalanceInProgress:此指标每分钟发布一次,重新平衡时值为 1,否则为 0。

  • UnderProvisioned:表示集群当前处于配置不足状态,无法执行任何分区重新平衡。您要么需要添加更多代理,要么扩大集群的实例类型。

有关监控 MSK 预配置集群的信息,请参阅监控预置 Amazon MSK 集群和。使用查看亚马逊 MSK 指标 CloudWatch

使用智能再平衡的注意事项

  • 自 2026 年 6 月 18 日起,所有带有 Express 代理的 MSK 预配置集群均可使用智能再平衡。这包括在 2025 年 11 月推出智能再平衡功能之前创建的 Express 集群。对于 2025 年 11 月 20 日之前创建的集群,可以使用 “智能再平衡”,并将 “重新平衡状态” 设置为 “已暂停”要为现有集群启用此功能,请使用 Amazon MSK 控制台或 SDK 将 “重新平衡状态” 设置为 “活动”。 AWS CLI有关说明,请参阅稳态再平衡

  • 对于自动分区重新分配,每个代理最多可支持 20,000 个分区。

  • 启用智能重新平衡后,您不能使用分区重新分配 API 或第三方再平衡工具。要使用这些 API 或第三方工具,必须先暂停 MSK Express-based 集群的智能再平衡。