KCL 消费者应用程序所需的 IAM 权限 - Amazon Kinesis Data Streams

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

KCL 消费者应用程序所需的 IAM 权限

您必须向与 KCL 使用者应用程序关联的 IAM 角色或用户添加以下权限。

的安全最佳实践 AWS 要求使用细粒度的权限来控制对不同资源的访问权限。 AWS Identity and Access Management (IAM) 允许您在中管理用户和用户权限 AWS。IAM policy 明确列出了允许的操作以及这些操作适用于的资源。

下表显示了 KCL 消费者应用程序通常需要的最低 IAM 权限:

KCL 消费者应用程序的最低 IAM 权限
服务 操作 资源 (ARNs) 用途
Amazon Kinesis Data Streams

DescribeStream

DescribeStreamSummary

RegisterStreamConsumer

Kinesis 数据流,您的 KCL 应用程序将从中处理数据。

arn:aws:kinesis:region:account:stream/StreamName

在尝试读取记录前,消费端会检查数据流是否存在,数据流是否处于活动状态,以及分片是否包含在数据流中。

将消费者注册到分片。

Amazon Kinesis Data Streams

GetRecords

GetShardIterator

ListShards

Kinesis 数据流,您的 KCL 应用程序将从中处理数据。

arn:aws:kinesis:region:account:stream/StreamName

从分片读取记录。

Amazon Kinesis Data Streams

SubscribeToShard

DescribeStreamConsumer

Kinesis 数据流,您的 KCL 应用程序将从中处理数据。只有在使用增强型扇出 (EFO) 使用者时才添加此操作。

arn:aws:kinesis:region:account:stream/StreamName/consumer/*

为增强型扇出 (EFO) 消费者订阅分片。

Amazon DynamoDB

CreateTable

DescribeTable

UpdateTable

Scan

GetItem

PutItem

UpdateItem

DeleteItem

租用表(由 KCL 创建的 DynamoDB 中的元数据表)。

arn:aws:dynamodb:region:account:table/KCLApplicationName

KCL 需要执行这些操作才能管理在 DynamoDB 中创建的租用表。

Amazon DynamoDB

CreateTable

DescribeTable

Scan

GetItem

PutItem

UpdateItem

DeleteItem

KCL 创建的工作器指标和协调器状态表(DynamoDB 中的元数据表)。

arn:aws:dynamodb:region:account:table/KCLApplicationName-WorkerMetricStats

arn:aws:dynamodb:region:account:table/KCLApplicationName-CoordinatorState

KCL 需要这些操作才能管理 DynamoDB 中的工作人员指标和协调器状态元数据表。

Amazon DynamoDB

Query

租赁表上的全局二级索引。

arn:aws:dynamodb:region:account:table/KCLApplicationName/index/*

KCL 需要执行此操作才能读取在 DynamoDB 中创建的租赁表的全局二级索引。

亚马逊 CloudWatch

PutMetricData

*

上传指标对于监控应用程序非常有用。 CloudWatch 之所以使用星号 (*),是因为没有用于调用PutMetricData操作 CloudWatch 的特定资源。

注意

将中的 “区域”、“账户”、“” 和 “KCLApplication名称” 分别替换为您自己的 AWS 账户 号码 AWS 区域、Kinesis 数据流名称和 KCL 应用程序名称。StreamName ARNsKCL 3.x 在 DynamoDB 中又创建了两个元数据表。有关 KCL 创建的 DynamoDB 元数据表的详细信息,请参阅。DynamoDB 元数据表和 KCL 中的负载平衡如果您使用配置来自定义 KCL 创建的元数据表的名称,请使用这些指定的表名而不是 KCL 应用程序名称。

以下是 KCL 消费者应用程序的示例策略文档。

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:DescribeStreamSummary", "kinesis:RegisterStreamConsumer", "kinesis:GetRecords", "kinesis:GetShardIterator", "kinesis:ListShards" ], "Resource": "arn:aws:kinesis:REGION:ACCOUNT_ID:stream/STREAM_NAME" }, { "Effect": "Allow", "Action": [ "kinesis:SubscribeToShard", "kinesis:DescribeStreamConsumer" ], "Resource": "arn:aws:kinesis:REGION:ACCOUNT_ID:stream/STREAM_NAME/consumer/*" }, { "Effect": "Allow", "Action": [ "dynamodb:CreateTable", "dynamodb:DescribeTable", "dynamodb:UpdateTable", "dynamodb:GetItem", "dynamodb:UpdateItem", "dynamodb:PutItem", "dynamodb:DeleteItem", "dynamodb:Scan" ], "Resource": [ "arn:aws:dynamodb:REGION:ACCOUNT_ID:table/KCL_APPLICATION_NAME" ] }, { "Effect": "Allow", "Action": [ "dynamodb:CreateTable", "dynamodb:DescribeTable", "dynamodb:GetItem", "dynamodb:UpdateItem", "dynamodb:PutItem", "dynamodb:DeleteItem", "dynamodb:Scan" ], "Resource": [ "arn:aws:dynamodb:REGION:ACCOUNT_ID:table/KCL_APPLICATION_NAME-WorkerMetricStats", "arn:aws:dynamodb:REGION:ACCOUNT_ID:table/KCL_APPLICATION_NAME-CoordinatorState" ] }, { "Effect": "Allow", "Action": [ "dynamodb:Query" ], "Resource": [ "arn:aws:dynamodb:REGION:ACCOUNT_ID:table/KCL_APPLICATION_NAME/index/*" ] }, { "Effect": "Allow", "Action": [ "cloudwatch:PutMetricData" ], "Resource": "*" } ] }

在使用此示例策略之前,请检查以下各项:

  • 将区域替换为你的 AWS 区域 (例如 us-east-1)。

  • 将账号_ID替换为你的 AWS 账户 账号。

  • 将 STREAM_NAME 替换为您的 Kinesis 数据流的名称。

  • 使用 KCL 时,将 CONSUMER_NAME 替换为使用者的名称,通常是您的应用程序名称。

  • 将 KCL_APPLICATION_NAME 替换为您的 KCL 应用程序的名称。