Uso de AWS Glue con AWS Lake Formation para obtener un control de acceso detallado

Descripción general

Con la versión 5.0 de AWS Glue y posteriores, puede aprovechar AWS Lake Formation para aplicar controles de acceso detallados en las tablas del catálogo de datos respaldadas por S3. Esta capacidad le permite configurar los controles de acceso a nivel de tabla, fila, columna y celda para las consultas de read en sus trabajos de Apache Spark de AWS Glue. Consulte las siguientes secciones para obtener más información sobre Lake Formation y cómo usarlo con AWS Glue.

El control de acceso a nivel de tabla basado en GlueContext con permisos de AWS Lake Formation admitido en Glue 4.0 y las versiones anteriores no se admite en Glue 5.0. En Glue 5.0 se utiliza el nuevo control de acceso detallado (FGAC) nativo de Spark. Tenga en cuenta la siguiente información:

El uso de AWS Glue con AWS Lake Formation conlleva cargos adicionales.

Cómo funciona AWS Glue con AWS Lake Formation

El uso de AWS Glue con Lake Formation le permite implementar una capa de permisos en cada trabajo de Spark para aplicar el control de permisos de Lake Formation cuando AWS Glue ejecuta trabajos. AWS Glue utiliza los perfiles de recursos de Spark para crear dos perfiles para ejecutar los trabajos de forma eficaz. El perfil de usuario ejecuta el código proporcionado por el usuario, mientras que el perfil del sistema implementa las políticas de Lake Formation. Para obtener más información, consulte Qué es AWS Lake Formation y Consideraciones y limitaciones.

A continuación, se ofrece una descripción general de alto nivel sobre cómo AWS Glue obtiene acceso a los datos protegidos por las políticas de seguridad de Lake Formation.

Requisito mínimo de trabajadores

Un trabajo habilitado para Lake Formation en AWS Glue requiere un mínimo de 4 trabajadores: un controlador del usuario, un controlador del sistema, un ejecutor del sistema y un ejecutor del usuario en espera. Esto representa un aumento con respecto al mínimo de 2 trabajadores requerido para los trabajos estándar de AWS Glue.

Cada trabajo habilitado para Lake Formation en AWS Glue utiliza dos controladores de Spark, uno para el perfil del usuario y otro para el perfil del sistema. Del mismo modo, los ejecutores también se dividen en dos perfiles:

Como los trabajos de Spark son de naturaleza perezosa, AWS Glue reserva el 10 % del total de trabajadores (mínimo 1), una vez deducidos los dos controladores, para los ejecutores del usuario.

Todos los trabajos habilitados para Lake Formation tienen habilitado el escalado automático, lo que significa que los ejecutores del usuario solo se iniciarán cuando sea necesario.

Para ver un ejemplo de configuración, consulte Consideraciones y limitaciones.

Permisos de IAM del rol de tiempo de ejecución de trabajos

Los permisos de Lake Formation controlan el acceso a los recursos de Catálogo de datos de AWS Glue, a las ubicaciones de Amazon S3 y a los datos subyacentes en esas ubicaciones. Los permisos de IAM controlan el acceso a las API y los recursos de Lake Formation y AWS Glue. Aunque es posible que tenga el permiso de Lake Formation para acceder a una tabla del catálogo de datos (SELECT), la operación fallará si no tiene el permiso de IAM en la operativa de la API glue:Get*.

El siguiente es un ejemplo de política sobre cómo proporcionar permisos de IAM para acceder a un script en S3, cargar registros en S3, permisos de la API de Glue de AWS y permiso para acceder a Lake Formation.

{
"Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ScriptAccess",
            "Effect": "Allow",
            "Action": [ 
                "s3:GetObject", 
                "s3:ListBucket" 
            ], 
            "Resource": [ 
            "arn:aws:s3:::*.amzn-s3-demo-bucket/scripts", 
            "arn:aws:s3:::*.amzn-s3-demo-bucket/*" ]
        },
        {
         "Sid": "LoggingAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject"
            ],
            "Resource": [
               "arn:aws:s3:::amzn-s3-demo-bucket/logs/*"
            ]
        },
        {
            "Sid": "GlueCatalogAccess",
            "Effect": "Allow",
            "Action": [
                 "glue:Get*", 
                 "glue:Create*", 
                 "glue:Update*"
            ],
            "Resource": ["*"]
        },
        {
            "Sid": "LakeFormationAccess",
            "Effect": "Allow",
            "Action": [
             "lakeformation:GetDataAccess"
             ],
            "Resource": ["*"]
        }
    ]
}

Configuración de permisos de Lake Formation para roles de tiempo de ejecución de trabajos

Primero, registre la ubicación de su tabla de Hive con Lake Formation. A continuación, cree los permisos para el rol de tiempo de ejecución de su trabajo en la tabla que desee. Para obtener más detalles acerca de Lake Formation, consulte Qué esAWS Lake Formation en la AWS Lake Formation Guía para desarrolladores.

Después de configurar los permisos de Lake Formation, puede enviar trabajos de Spark en AWS Glue.

Envío de la ejecución de un trabajo

Cuando termine de configurar los permisos de Lake Formation, podrá enviar trabajos a Spark en AWS Glue. Para ejecutar trabajos de Iceberg, necesita proporcionar las siguientes configuraciones de Spark. Para configurar contenido mediante los parámetros de trabajo de Glue, introduzca el siguiente parámetro:

Compatibilidad con el formato de tabla abierta

La versión 5.0 o posterior de AWS Glue incluye compatibilidad con los controles de acceso detallado basados en Lake Formation. AWS Glue admite los tipos de tablas Hive e Iceberg. La tabla siguiente describe todas las operaciones compatibles.