Los buckets de tabla de S3 son un tipo de bucket de Amazon S3 diseñado específicamente para almacenar datos tabulares en tablas de Apache Iceberg. Los buckets de tablas automatizan tareas de administración de tablas, como la compactación, la administración de instantáneas y la recopilación de elementos no utilizados, para optimizar continuamente el rendimiento de las consultas y minimizar los costos. Tanto si recién comienza como si cuenta con miles de tablas en el entorno de Iceberg, los buckets de tabla simplifican el uso de los lagos de datos a cualquier escala. Para obtener más información, consulte buckets de tabla.
Consideraciones y limitaciones
-
No se admiten operaciones DDL, como CREATE TABLE, CREATE TABLE AS SELECT, CREATE VIEW, etc.
-
Se admiten operaciones de lectura y escritura como, SELECT, INSERT, UPDATE, DELETE y MERGE.
-
Athena no admite CREATE TABLE en buckets de tablas de S3, por lo que la configuración inicial se debe realizar con otro motor, como Spark en EMR, o mediante la API de tablas de S3.
-
No se admite la reutilización del resultado de la consulta.
-
Si se produce el error
Invalid choice: 's3tables'al utilizar la CLI, asegúrese de actualizar a la versión de AWS CLI más reciente.
Configuración previa a la consulta del bucket de tablas de S3 desde Athena
Complete estos requisitos previos antes de consultar el bucket de tablas de S3 desde Athena
Cree un bucket de tabla de S3. Para obtener más información, consulte Cómo crear un bucket de tabla en la Guía del usuario de Amazon Simple Storage Service.
Cree un espacio de nombres de tabla. Para obtener más información, consulte Cómo crear un espacio de nombres en la Guía del usuario de Amazon Simple Storage Service.
-
Para crear una tabla de S3, siga los pasos que se indican en Cómo crear una tabla de Amazon S3.
-
Asegúrese de que la integración de los buckets de tabla con AWS Glue Data Catalog y AWS Lake Formation se realiza correctamente. Para ello, siga los pasos que se indican en Requisitos previos para la integración e Integración de buckets de tabla con servicios de análisis de AWS en la Guía del usuario de Amazon Simple Storage Service.
nota
Si habilitó la integración al crear un bucket de tablas de S3 desde la consola de S3 en el paso 1, puede omitir este paso.
En el caso del usuario/rol que desea utilizar para enviar la consulta desde Athena, conceda permiso a Lake Formation sobre la tabla de S3, ya sea a través de la consola de Lake Formation o CLI.
-
Abra la consola de AWS Lake Formation en https://console.aws.amazon.com/lakeformation/
e inicie sesión como administrador del lago de datos. Para obtener más información sobre cómo crear un administrador del lago de datos, consulte Cómo crear un administrador del lago de datos. En el panel de navegación, elija Permisos de datos y, a continuación, seleccione Conceder.
En la página Conceder permisos, en Entidades principales, elija la entidad principal que desea utilizar para enviar consultas desde Athena.
En Etiquetas LF o recursos de catálogo, elija Recursos de catálogo de datos con nombre.
En Catálogos, elija un catálogo de datos de Glue que haya creado a partir de la integración del bucket de tablas. Por ejemplo,
<accoundID>:s3tablescatalog/amzn-s3-demo-bucket.-
En Bases de datos, elija el espacio de nombres de la tabla de S3 que creó. Athena utiliza el espacio de nombres de la tabla de S3 como base de datos.
-
En Tablas, elija la tabla de S3 que creó en el bucket de tablas de S3.
-
En Permisos de tabla, seleccione Super.
-
Elija Conceder.
Envíe una consulta desde Athena con el usuario/rol concedido anteriormente. En este ejemplo,
s3tablescataloges el catálogo de datos de Glue principal creado a partir de la integración ys3tablescatalog/es el catálogo de datos de Glue secundario creado para cada bucket de tabla de S3. Existen dos formas de realizar la consulta.amzn-s3-demo-bucket-
Especifique el catálogo de Glue secundario (
s3tablescatalog/) como catálogo directamente. Puede hacerlo a través de la consola o con la AWS CLI.amzn-s3-demo-bucket-
Abra la consola de Athena en https://console.aws.amazon.com/athena/
. -
En el editor de consultas, ingrese una consulta como
SELECT * FROM "s3tablescatalog/.amzn-s3-demo-bucket"."test_namespace"."test_table" LIMIT 10
-
Cree un catálogo de datos de Athena a partir del catálogo de datos de Glue secundario en la consola de Athena y especifíquelo como catálogo en la consulta. Para obtener más información, consulte Cómo registrar catálogos de buckets de tabla de S3 con la consola de Athena.
-
Cómo registrar catálogos de buckets de tabla de S3 con la consola de Athena
Para registrar catálogos de buckets de tabla de S3 en la consola de Athena, siga estos pasos.
-
Abra la consola de Athena en https://console.aws.amazon.com/athena/
. -
En el panel de navegación, elija Orígenes de datos y catálogos.
-
En la página Orígenes de datos y catálogos, elija Crear origen de datos.
-
En Elegir un origen de datos, elija Amazon S3: AWS Glue Data Catalog.
-
En la sección AWS Glue Data Catalog, bajo Cuenta de origen de datos, elija AWS Glue Data Catalog en esta cuenta.
-
En Crear una tabla o registrar un catálogo, elija Registrar un nuevo catálogo de AWS Glue.
-
En la sección Detalles del origen de datos, en Nombre del origen de datos, ingrese el nombre que desea utilizar para especificar el origen de datos en las consultas SQL o utilice el nombre predeterminado que se genera.
-
En Catálogo, seleccione Examinar para buscar una lista de catálogos de AWS Glue en la misma cuenta. Si no ve ningún catálogo existente, cree uno en la consola de AWS Glue
. -
En el cuadro de diálogo Examinar catálogos de AWS Glue, seleccione el catálogo que desea utilizar y, a continuación, elija Seleccionar.
-
(Opcional) En Etiquetas, ingrese cualquier par de clave/valor que desee asociar al origen de datos.
-
Elija Siguiente.
-
En la página Revisar y crear, compruebe que la información introducida es correcta y, a continuación, seleccione Crear origen de datos.
