스트리밍 테이블 전송 생성

Amazon Kinesis Data Streams 스트림의 레코드를 S3 테이블 버킷이 지원하는 Apache Iceberg의 스트리밍 테이블로 지속적으로 전송하는 전송을 생성합니다. AWS Management Console 또는를 사용하여 전송을 생성할 수 있습니다 AWS CLI. 전송을 생성하면 Amazon Kinesis Data Streams는 지정한 테이블 버킷에 대상 Iceberg 테이블을 생성합니다.

사용 AWS Management Console

사용 AWS CLI

create-channel 명령을 사용하여 스트리밍 테이블 전송을 생성합니다. 이 구성에는 AWS Glue Schema Registry의 스키마와 배달 못한 편지 대기열이 필요합니다.

aws kinesis create-channel \
    --channel-name "my-iceberg-delivery" \
    --service-execution-role-arn "arn:aws:iam::123456789012:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON",
                "GSRSchemaARN": "arn:aws:glue:us-east-1:123456789012:schema/my-registry/my-schema"
            }
        }
    ]' \
    --s3-tables-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3Configuration": {
            "BucketARN": "arn:aws:s3:::my-dlq-bucket",
            "ExpectedBucketOwner": "123456789012",
            "ErrorOutputPrefix": "dlq/"
        },
        "S3TablesConfigurationList": [
            {
                "TableBucketARN": "arn:aws:s3tables:us-east-1:123456789012:bucket/my-table-bucket",
                "Namespace": "my_namespace",
                "TableName": "my_table",
                "CompressionType": "ZSTD",
                "PartitionSpec": {
                    "PartitionFields": [
                        {
                            "SourceName": "timestamp",
                            "Transform": "TIME_HOUR"
                        }
                    ]
                }
            }
        ]
    }'

명령은 채널 ARN()을 반환합니다ChannelARN. 와 함께 사용하여 전송이 ACTIVE 상태에 도달하는지 describe-channel 확인합니다. 스트리밍 테이블 전송 설명을(를) 참조하세요.

API 참조 - Amazon Kinesis Data Streams API 참조CreateChannel의 섹션을 참조하세요.