Uso de AWS Lake Formation con Amazon Athena - AWS Lake Formation
Compatibilidad con formatos de tablas transaccionalesRecursos adicionales de

Uso de AWS Lake Formation con Amazon Athena

Amazon Athena es un servicio de consultas sin servidor que le ayuda a analizar datos estructurados, semiestructurados y no estructurados almacenados en Amazon S3. Puede usar Athena SQL para consultar datos desde formatos de datos CSV, JSON, Parquet y Avro. Athena SQL también admite formatos de tabla como Apache Hive, Apache Hudi y Apache Iceberg. Athena se integra con AWS Glue Data Catalog para almacenar los metadatos de sus conjuntos de datos en Amazon S3. Athena puede usar Lake Formation para definir y mantener políticas de control de acceso en esos conjuntos de datos.

Estos son algunos casos de uso comunes en los que puede usar Lake Formation con Athena.

  • Utilice los permisos de Lake Formation para acceder a los recursos del Catálogo de datos (bases de datos y tablas) desde Athena. Puede usar el método de recurso designado o las etiquetas LF para definir los permisos en la base de datos y las tablas. Para obtener más información, consulte:

    nota

    Los permisos de Lake Formation se aplican solo al utilizar Athena SQL para consultar datos de origen de Amazon S3 y metadatos del Catálogo de datos.

    Athena Spark no admite la consulta de tablas del Catálogo de datos con permisos de Lake Formation. Los permisos de Lake Formation admiten operaciones de lectura y escritura en bases de datos y tablas.

    nota

    No puede aplicar filtros de datos cuando usa etiquetas LF para administrar los permisos en los recursos del Catálogo de datos.

  • Controle los resultados de las consultas con Filtros de datos en Lake Formation para asegurar las tablas de sus lagos de datos Amazon S3 mediante permisos de columna, fila y celda. Consulte la limitación de la proyección de particiones en la Guía del usuario de Amazon Athena.

  • Aplique un control de acceso detallado a los datos disponibles para el usuario de Athena basado en SAML al ejecutar consultas federadas.

    Los controladores JDBC y ODBC de Athena admiten la configuración del acceso federado al origen de datos mediante un proveedor de identidades (IdP) basado en SAML. Utilice Amazon QuickSight integrado con Lake Formation con su rol de IAM actual o con usuarios o grupos de SAML para visualizar los resultados de las consultas de Athena.

    nota

    Los permisos de Lake Formation para usuarios y grupos de SAML solo se reconocen cuando se utiliza el controlador JDBC u ODBC para enviar consultas a Athena.

    Para obtener más información, consulte Uso de Lake Formation y de los controladores JDBC y ODBC de Athena para el acceso federado a Athena.

    nota

    Actualmente, no se admite la autorización del acceso a las identidades de SAML en Lake Formation en las regiones siguientes:

    • Medio Oriente (Baréin): me-south-1

    • Asia-Pacífico (Hong Kong): ap-east-1

    • África (Ciudad del Cabo): af-south-1

    • China (Ningxia): cn-northwest-1

    • Asia-Pacífico (Osaka): ap-northeast-3

  • Utilice Compartir datos entre cuentas en Lake Formation para consultar tablas en otra cuenta.

nota

Para obtener más información sobre las limitaciones al utilizar los permisos de Lake Formation para Views, consulte Consideraciones y limitaciones.

Compatibilidad con formatos de tablas transaccionales

Con los permisos de Lake Formation puede proteger sus datos transaccionales en sus lagos de datos basados en Amazon S3. La tabla siguiente muestra los formatos de tablas transaccionales compatibles con los permisos de Athena y Lake Formation. Lake Formation impone estos permisos cuando los usuarios de Athena ejecutan sus consultas.

Formato de tabla Descripción y operaciones permitidas Permisos de formación de lagos admitidos en Athena

Apache Hudi

Formato utilizado para simplificar el procesamiento incremental de datos y el desarrollo de canalizaciones de datos.

Athena admite operaciones de creación y lectura mediante formatos de tablas Apache Hudi en conjuntos de datos de Amazon S3 para los tipos de tablas Hudi Copy on Write (CoW) y Merge On Read (MoR). Athena no admite operaciones de escritura en tablas Hudi.

Utilice Athena para consultar conjuntos de datos de Hudi.

Utilice Filtrado de datos y seguridad de celda en Lake Formation para proteger la tabla de Hudi mediante permisos de tabla, columna, fila y celda.

Apache Iceberg

Iceberg administra grandes colecciones de archivos como tablas y admite operaciones de lago de datos analíticos modernos, como las consultas de inserción, actualización y eliminación de registros, y viajes en el tiempo.

Para obtener más información sobre la compatibilidad de Athena con las tablas Iceberg, consulte Uso de tablas Iceberg.

Son compatibles los permisos de tabla, columna, fila y celda. Actualmente, Lake Formation no admite la administración de permisos en operaciones de escritura como VACUUM, MERGE, UPDATE y OPTIMIZE en tablas en formatos de tabla abierta.

Linux Foundation Delta Lake

Delta Lake es un proyecto de código abierto que ayuda a implementar arquitecturas de lago de datos modernas basadas habitualmente en Amazon S3 o en Sistema de archivos distribuido de Hadoop (HDFS)

Athena es compatible con tablas de Delta Lake creadas mediante una definición de tabla de manifiesto basada en enlaces simbólicos en AWS Glue Data Catalog a partir de una tabla de Delta Lake.

Para obtener más información, consulte Rastreo de tablas de Delta Lake mediante rastreadores de AWS Glue.

Athena (versión 3 del motor) admite la lectura de tablas nativas de Delta Lake.

Para obtener más información, consulte Presentación del soporte nativo de Delta Lake para tablas con rastreadores de AWS Glue.

Los permisos de tabla, columna, fila y celda son compatibles con las tablas de enlaces simbólicos y las tablas nativas de Delta Lake.

Recursos adicionales de

Publicaciones de blog, vídeos y talleres