View a markdown version of this page

Crea una mesa de entrega en streaming - Amazon Kinesis Data Streams
Uso de Consola de administración de AWSUso de AWS CLI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crea una mesa de entrega en streaming

Cree una entrega que envíe de forma continua los registros de una transmisión de Amazon Kinesis Data Streams a una tabla de streaming en Apache Iceberg respaldada por un bucket de tablas de S3. Puede crear una entrega con el Consola de administración de AWS o el AWS CLI. Al crear un envío, Amazon Kinesis Data Streams crea la tabla Iceberg de destino en el bucket de tablas que especifique.

nota

Antes de crear una entrega, complete los requisitos previosPrimeros pasos con las tablas de streaming, incluida la función de ejecución del servicio de IAM que se describe en. Permisos de IAM para la entrega de datos La entrega de una tabla de streaming requiere un esquema en el Registro de AWS Glue esquemas y una cola de mensajes sin respuesta.

Uso de Consola de administración de AWS

  1. Abra la consola de Kinesis en. https://console.aws.amazon.com/kinesis

  2. En el panel de navegación, seleccione Tablas de streaming y, a continuación, elija Crear tabla de streaming.

  3. Paso 1: Configuración de la fuente. En Detalles de entrega, introduce un nombre de entrega. Los caracteres aceptables son letras mayúsculas y minúsculas, números, guiones bajos, guiones y puntos. En Source, elige la transmisión desde la que deseas realizar la entrega. On-Demand Solo se muestran las On-Demand transmisiones. Elija Siguiente.

  4. Paso 2: Configuración de destino. En Configuración de conversión de registros, elija un formato de conversión de registros:

    • JSON: registros JSON que se validan con respecto a un AWS Glue esquema en Schema Registry. Proporcione el ARN del esquema en el registro de Glue Schema.

    • JSON del registro de Glue Schema: convierte los registros mediante un AWS Glue esquema JSON de Schema Registry.

    Para el registro de Glue Schema, especifique el ARN del esquema o elija Examinar para seleccionar uno.

  5. En la tabla de destino, especifique dónde Amazon Kinesis Data Streams crea la tabla Iceberg:

    • ARN del bucket de tabla S3: el ARN del bucket de tabla S3. Elija Browse S3 para seleccionar uno.

    • Espacio de nombres: el espacio de nombres de la tabla (solo letras minúsculas, números y guiones bajos).

    • Nombre de la tabla: el nombre de la tabla que se va a crear.

    • Nombre de columna: el nombre de un campo de fecha y hora de tu esquema usado para particionar la tabla por horas. El campo debe ser un campo de cadena con el formato de fecha y hora del esquema.

    • Tipo de compresión: elija ZSTD, Snappy o Ninguno.

    • Actualización de los datos: el tiempo máximo de almacenamiento en búfer en segundos antes de que se entreguen los registros (mínimo 300, máximo 900).

    Elija Siguiente.

  6. Paso 3: Configuración adicional. Configure lo siguiente y, a continuación, seleccione Siguiente:

    • Configuración de cifrado: de forma predeterminada, los datos se cifran con el cifrado predeterminado de Amazon S3. Para usar una clave gestionada por el cliente, seleccione Personalizar la configuración de cifrado (avanzada).

    • Acceso al servicio: para el ARN del rol de IAM, elija o cree el rol de IAM que otorga el acceso al destino. Seleccione Crear rol de IAM para crear uno.

    • Lista de mensajes sin salida: para la URI del bucket de S3, elija el bucket de Amazon S3 que almacena los registros que no se pueden entregar. Si lo desea, defina un prefijo de salida de error para el bucket de S3.

    • Registrar la entrega: si lo desea, seleccione Entregar a Amazon CloudWatch Logs para capturar los diagnósticos de entrega.

    • Etiquetas: si lo desea, añada etiquetas clave-valor para identificar y organizar su entrega.

  7. Paso 4: Revisa y crea. Revisa la configuración y, a continuación, elige Crear tabla de streaming. La entrega pasa de CREATING a ACTIVE una vez finalizado el aprovisionamiento.

Uso de AWS CLI

Utilice el create-channel comando para crear una entrega en forma de tabla de streaming. Esta configuración requiere un AWS Glue esquema de Schema Registry y una cola de mensajes muertos: 

aws kinesis create-channel \
    --channel-name "my-iceberg-delivery" \
    --service-execution-role-arn "arn:aws:iam::123456789012:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON",
                "GSRSchemaARN": "arn:aws:glue:us-east-1:123456789012:schema/my-registry/my-schema"
            }
        }
    ]' \
    --s3-tables-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3Configuration": {
            "BucketARN": "arn:aws:s3:::my-dlq-bucket",
            "ExpectedBucketOwner": "123456789012",
            "ErrorOutputPrefix": "dlq/"
        },
        "S3TablesConfigurationList": [
            {
                "TableBucketARN": "arn:aws:s3tables:us-east-1:123456789012:bucket/my-table-bucket",
                "Namespace": "my_namespace",
                "TableName": "my_table",
                "CompressionType": "ZSTD",
                "PartitionSpec": {
                    "PartitionFields": [
                        {
                            "SourceName": "timestamp",
                            "Transform": "TIME_HOUR"
                        }
                    ]
                }
            }
        ]
    }'

El comando devuelve el canal ARN (). ChannelARN Se usa con describe-channel para verificar que la entrega alcance el estado ACTIVO. Consulte Describe una entrega en streaming en tabla.

Referencia de la API: consulte CreateChannel la referencia de la API de Amazon Kinesis Data Streams.