Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Requisitos previos para utilizar las tablas de Apache Iceberg como destino
Elija una de las siguientes opciones para completar los requisitos previos necesarios.
Temas
Requisitos previos para realizar envíos a Iceberg Tables en Amazon S3
Antes de comenzar, complete los siguientes requisitos previos.
-
Crear un bucket de Amazon S3: debe crear un bucket de Amazon S3 para añadir la ruta del archivo de metadatos durante la creación de las tablas. Para obtener más información, consulte Creación de un bucket de S3.
-
Cree un IAM rol con los permisos necesarios: Firehose necesita un IAM rol con permisos específicos para acceder a AWS Glue las tablas y escribir datos en Amazon S3. La misma función se utiliza para conceder AWS Glue acceso a los buckets de Amazon S3. Necesitarás este IAM rol cuando crees Iceberg Table y Firehose Stream. Para obtener más información, consulte Concesión a Firehose de acceso a un destino de tablas de Apache Iceberg.
-
Crear tablas de Apache Iceberg: si está configurando claves únicas en el flujo de Firehose para actualizaciones y eliminaciones, Firehose valida si la tabla y las claves únicas existen como parte de la creación del flujo. Para esta situación, debe crear tablas antes de crear el flujo de Firehose. Puede usarlo AWS Glue para crear tablas Iceberg de Apache. Para obtener más información, consulte Creación de tablas de Apache Iceberg. Si no configurará claves únicas en el flujo de Firehose, no necesitará crear tablas de Iceberg antes de crear un flujo de Firehose.
nota
Firehose admite la siguiente versión y formato de tabla para las tablas de Apache Iceberg.
-
Versión de formato de tabla: Firehose solo admite el formato de tabla V2
. No cree tablas en formato V1; de lo contrario, se producirá un error y los datos se enviarán al bucket de errores de S3. -
Formato de almacenamiento de datos: Firehose escribe los datos en las tablas de Apache Iceberg en formato Parquet.
-
Operación a nivel de fila: Firehose admite el modo Merge-on-Read (MOR) de escribir datos en tablas Apache Iceberg.
-
Requisitos previos para realizar envíos a Amazon S3 Tables
Para enviar datos a los cubos de tablas de Amazon S3, complete los siguientes requisitos previos.
-
Cree un IAM rol con los permisos necesarios: Firehose necesita un IAM rol con permisos específicos para acceder a AWS Glue las tablas y escribir datos en las tablas de un bucket de tablas de Amazon S3. Para escribir en las tablas de un bucket de tablas de S3, también debes proporcionar al IAM rol los permisos necesarios. AWS Lake Formation Esta IAM función se configura al crear una transmisión de Firehose. Para obtener más información, consulte Conceder a Firehose acceso a Amazon S3 Tables.
-
Cree un depósito de tablas de S3, un espacio de nombres, tablas en el depósito de tablas y otros pasos de integración descritos en Integración de tablas de Amazon S3 con servicios de AWS análisis.
nota
En los pasos descritos, conceda AWS Lake Formation
DESCRIBEpermiso al IAM rol que creó anteriormente.Para fines de enrutamiento, utilizará los nombres de los enlaces de recursos para la base de datos y la tabla creados como parte de los requisitos previos como nombre de base de datos y tabla en la configuración de transmisión de Firehose. Puede utilizarlos en la sección de clave única de su configuración de transmisión de Firehose si va a enrutar a una sola tabla, o enviarlos como parte de los datos de entrada para que Firehose los dirija a la tabla correcta mediante expresiones de consulta. JSON
Para obtener más formas de crear enlaces de recursos, consulte Creación de un enlace de recursos a una tabla de catálogo de datos compartida o Creación de un enlace de recursos a una base de datos de catálogo de datos compartida en la guía del usuario de Lake Formation.
