View a markdown version of this page

使用 Kafka 配额管理吞吐量 - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Kafka 配额管理吞吐量

由于 MSK 复制器充当源集群的使用器，复制可能会导致源集群上的其他使用器受到节流。限制量取决于源集群的读取容量和要复制的数据吞吐量。

您可以在源集群和目标集群上为复制器设置 Kafka 配额，以控制 MSK Replicator 可以使用的容量。建议使用网络带宽限额。网络带宽限额定义了一个或多个共享限额的客户端的字节速率阈值，定义为每秒字节数。此限额依不同代理而定义。

请按照以下步骤申请配额：

  1. 检索源集群的引导服务器字符串。请参阅获取 Amazon MSK 集群的引导代理。

  2. 检索 MSK 复制器使用的服务执行角色（SER）。这是您用于 CreateReplicator 请求的 SER。您也可以从DescribeReplicator响应中提取 SER。

  3. 使用 Kafka CLI 工具，对源集群运行以下命令：

    ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> \
  --alter \
  --add-config 'consumer_byte_rate=<quota_in_bytes_per_second>' \
  --entity-type users \
  --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> \
  --command-config <client-properties-for-iam-auth>

  4. 执行命令后，请确认该ReplicatorThroughput指标未超过您设置的配额。

如果您在多个 MSK 复制器之间重复使用服务执行角色，则它们都受此配额的约束。如果要为每个复制器保留单独的限额，请使用不同的服务执行角色。

有关使用带限额的 MSK IAM 身份验证的更多信息，请参阅 Multi-tenancy Apache Kafka clusters in Amazon MSK with IAM access control and Kafka Quotas – Part 1。

警告

设置得非常低consumer_byte_rate可能会导致你的 MSK Replicator 以意想不到的方式起作用。