View a markdown version of this page

Amazon MSK 复制器 - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon MSK 复制器

Amazon MSK Replicator 是 Amazon MSK 的一项完全托管功能,它使您能够在不同或相同的 Amazon MSK 集群中可靠地复制数据。 AWS 区域 MSK Replicator 还支持将数据从自行管理的 Apache Kafka 集群(包括本地、自托管或其他云提供商)复制到带有 Express 代理的 Amazon MSK 预配置集群。 AWS在 MSK 集群之间进行复制 AWS 账户 时,源集群和目标集群必须处于相同状态。借助 MSK Replicator,您可以构建具有区域弹性的流媒体应用程序以提高可用性和业务连续性,并将 Apache Kafka 工作负载从自我管理的环境迁移到 Amazon MSK。MSK Replicator 可自动异步复制 MSK 集群之间的数据和使用者组偏移,无需编写自定义代码、管理基础设施或设置跨区域网络。

MSK 复制器会自动扩缩底层资源,这样您就可以按需复制数据,而无需监控或扩展容量。MSK Replicator 还会复制必要的 Kafka 元数据,包括主题配置、访问控制列表 (ACLs) 和使用者组偏移量。如果某个区域发生意外事件,您可以故障转移到另一个 AWS 区域并无缝地恢复处理。

MSK 复制器支持跨区域复制(CRR)和同区域复制(SRR)。在跨区域复制中,源和目标 MSK 集群位于不同的 AWS 区域。在同区域复制中,源 MSK 集群和目标 MSK 集群都在同一个 AWS 区域中。在将源和目标 MSK 集群与 MSK 复制器一起使用之前,您需要创建源集群和目标 MSK 集群。

注意

MSK Replicator 支持以下 AWS 区域:美国东部(us-east-1,弗吉尼亚北部);美国东部(us-east-2,俄亥俄州);美国西部(us-west-2,俄勒冈);欧洲(eu-west-1,爱尔兰);欧洲(eu-central-1,法兰克福);亚太地区(ap-southeast-1,爱尔兰);欧洲(eu-central-1,法兰克福)apst-1,新加坡);亚太地区(ap-southeast-2,悉尼);欧洲(eu-north-1,斯德哥尔摩);亚太地区(ap-southeast-1,孟买);欧洲(eu-west-3,巴黎);南美(sa-east-1,圣保罗);亚太地区(ap-northeast-2,首尔);欧洲(eu-west-2,伦敦);亚太地区(ap-northeast-1,东京);美国西部(us-west-1,加利福尼亚北部);加拿大(ca-central-1,中部);中国(北京)(cn-north-1);中国(宁夏)(cn-northwest-1);以及其他 20 多个地区。

Amazon MSK Replicator 的常见用途:

  • 构建多区域流媒体应用程序:无需设置自定义解决方案即可构建高度可用且具有容错能力的流媒体应用程序,以提高弹性。

  • 更低延迟的数据访问:为不同地理区域的使用器提供更低延迟的数据访问。

  • 将数据分发给您的合作伙伴:将数据从一个 Apache Kafka 集群复制到多个 Apache Kafka 集群,这样不同的集群就 teams/partners 有自己的数据副本。

  • 聚合数据进行分析:将来自多个 Apache Kafka 集群的数据复制到一个集群中,以便轻松生成有关聚合实时数据的见解。

  • 本地写入,全局访问您的数据:设置多活复制,自动将在一个 AWS 区域执行的写入操作传播到其他区域,从而以更低的延迟和成本提供数据。

  • 从自行管理的 Kafka 集群迁移:通过使用者组偏移同步功能,将 Apache Kafka 工作负载从本地、自托管或第三方托管的 Kafka 部署迁移到 Amazon MSK Express 代理,实现应用程序的无缝切换。

  • 有关 replicator 的更多信息,请参见重要概念和。复制模式