View a markdown version of this page

创建 Amazon S3 交付 - Amazon Kinesis Data Streams

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建 Amazon S3 交付

创建将记录从亚马逊 Kinesis 数据流发送到通用亚马逊 S3 存储桶的交付。您可以使用 AWS 管理控制台 或创建配送 AWS CLI。记录以其源格式交付,批处理成大小最佳的对象,并具有可配置的压缩和您定义的 S3 密钥结构。

注意

在创建交付之前,请完成中的先决条件S3 通用交付入门,包括中所述的 IAM 服务执行角色数据传输的 IAM 权限。

使用 AWS 管理控制台

  1. 在以下位置打开 Kinesis 控制台。https://console.aws.amazon.com/kinesis

  2. 在导航窗格中,选择 S3 通用交付,然后选择创建交付。

  3. 步骤 1:源配置。在 “配送详情” 下,输入配送名称。对于来源,选择要 On-Demand 传输的直播。仅显示 On-Demand 直播。选择下一步。

  4. 步骤 2:目标配置。选择记录格式(JSON 、字符串或 BYTE_ARRAY),然后指定目的地:

    • S3 存储桶 ARN — 目标通用亚马逊 S3 存储桶的 ARN。

    • 预期存储桶所有者 — 预期存储桶所有者的 12 位 AWS 账户 ID。

    • 压缩类型 — 选择 GZIP 、 ZSTD 或无。

    • 存储类别 — 可以选择一个 Amazon S3 存储类别。

    • 输出密钥模板 — 可选择定义 Amazon S3 对象密钥结构。有关更多信息,请参阅 用于 Amazon S3 交付的 S3 输出密钥模板。

    • 数据新鲜度 — 传送记录前的最大缓冲时间(以秒为单位)(最低 300,最大 900)。

    选择下一步。

  5. 第 3 步:其他配置。配置加密、服务访问权限(IAM 角色)、可选的死信队列、日志传输和标签。选择下一步。

  6. 第 4 步:查看并创建。检查您的配置,然后选择创建交付。配置完成后,交付从 “创建” 过渡到 “活动”。

使用 AWS CLI

使用该create-channel命令创建 Amazon S3 交付,该交付使用 JSON 格式和 GZIP 压缩将记录发送到通用的 Amazon S3 存储桶:

aws kinesis create-channel \ --channel-name "my-s3-delivery" \ --service-execution-role-arn "arn:aws:iam::123456789012:role/my-channel-role" \ --stream-configuration-list '[ { "StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream", "RecordConfiguration": { "RecordFormatType": "JSON" } } ]' \ --s3-destination-configuration '{ "DataFreshnessInSeconds": 300, "StorageConfiguration": { "BucketARN": "arn:aws:s3:::my-destination-bucket", "ExpectedBucketOwner": "123456789012", "CompressionType": "GZIP", "StorageClass": "STANDARD" } }'

该命令返回频道 ARN (ChannelARN)。将其与一起使用describe-channel以验证交付是否达到 ACTIVE 状态。请参阅描述 Amazon S3 交付。要自定义 Amazon S3 对象密钥结构,请参阅用于 Amazon S3 交付的 S3 输出密钥模板。

API 参考 — 参见CreateChannel《亚马逊 Kinesis 数据流 API 参考》。