Actualización de los permisos de datos AWS Glue al modelo AWS Lake Formation

Los permisos AWS Lake Formation permiten un control de acceso específico para los datos de su lago de datos. Puede utilizar el modelo de permisos de Lake Formation para administrar sus objetos AWS Glue Data Catalog y ubicaciones de datos existentes en Amazon Simple Storage Service (Amazon S3).

El modelo de permisos de Lake Formation utiliza permisos básicos de AWS Identity and Access Management (IAM) para el acceso al servicio de API. Lake Formation usa la funcionalidad Filtrado de datos y seguridad de celda en Lake Formation para restringir el acceso a las tablas en los niveles de columna, fila y celda para los usuarios y sus aplicaciones. En términos comparativos, el modelo AWS Glue concede el acceso a los datos mediante políticas de IAM basadas en identidad y recursos.

Para hacer el cambio, siga los pasos de esta guía.

Para obtener más información, consulte Descripción general de los permisos de Lake Formation .

Acerca de los permisos predeterminados

Para mantener la compatibilidad con AWS Glue, de forma predeterminada, AWS Lake Formation concede el permiso Super al grupo IAMAllowedPrincipals en todos los recursos existentes del Catálogo de datos AWS Glue, y concede el permiso Super en los nuevos recursos del Catálogo de datos si está activada la configuración de Utilizar solo control de acceso de IAM. Esto hace que el acceso a los recursos del Catálogo de datos y a las ubicaciones de Amazon S3 esté controlado únicamente por las políticas de AWS Identity and Access Management (IAM). El grupo IAMAllowedPrincipals incluye a todos los Usuarios y roles de IAM a los que sus políticas de IAM permiten acceder a los objetos de su Catálogo de datos. El permiso Super permite a una entidad principal efectuar todas las operaciones compatibles con Lake Formation en la base de datos o tabla sobre la que se concede.

Puede empezar a utilizar Lake Formation para administrar el acceso a sus datos registrando las ubicaciones de los recursos existentes del Catálogo de datos en Lake Formation o utilizando el modo de acceso híbrido. Cuando registre la ubicación de Amazon S3 en modo de acceso híbrido, puede habilitar los permisos de Lake Formation optando por entidades principales para las bases de datos y las tablas bajo esa ubicación.

Para facilitar la transición de los permisos del lago de datos de un modelo IAM y Amazon S3 a los permisos de Lake Formation, le recomendamos que utilice el modo de acceso híbrido para el Catálogo de datos. Con el modo de acceso híbrido, dispone de una vía incremental en la que puede habilitar los permisos de Lake Formation para un conjunto específico de usuarios sin interrumpir a otros usuarios o cargas de trabajo existentes.

Para obtener más información, consulte Modo de acceso híbrido.

Inhabilite la configuración predeterminada del Catálogo de datos para mover todos los usuarios existentes de una tabla a Lake Formation en un solo paso.

Para empezar a utilizar los permisos de Lake Formation con sus bases de datos y tablas existentes del Catálogo de datos AWS Glue, debe hacer lo siguiente:

Siga los pasos de esta sección para actualizar al modelo de permisos Lake Formation.

Paso 1: Enumerar los permisos existentes de usuarios y roles

Para empezar a utilizar los permisos AWS Lake Formation con sus bases de datos y tablas AWS Glue existentes, primero debe determinar los permisos existentes de sus usuarios.

Uso de la operación de la API

Utilice la operación de la API ListPoliciesGrantingServiceAccess de AWS Identity and Access Management (IAM) para determinar las políticas de IAM vinculadas a cada entidad principal (usuario o rol). A partir de las políticas que aparecen en los resultados, puede determinar los permisos IAM que se conceden a la entidad principal. Debe invocar la API para cada entidad principal por separado.

aws iam list-policies-granting-service-access --arn arn:aws:iam::111122223333:user/glue_user1 --service-namespaces glue

{
    "PoliciesGrantingServiceAccess": [
        {
            "ServiceNamespace": "glue",
            "Policies": [
                {
                    "PolicyType": "INLINE",
                    "PolicyName": "GlueUserBasic",
                    "EntityName": "glue_user1",
                    "EntityType": "USER"
                },
                {
                    "PolicyType": "MANAGED",
                    "PolicyArn": "arn:aws:iam::aws:policy/AmazonAthenaFullAccess",
                    "PolicyName": "AmazonAthenaFullAccess"
                }
            ]
        }
    ],
    "IsTruncated": false
}

Uso de la AWS Management Console

También puede ver esta información en la consola de AWS Identity and Access Management (IAM), en la pestaña Access Advisor de la página de Resumen del usuario o rol:

Uso de AWS CloudTrail

Otra forma de determinar los permisos existentes es buscar en AWS CloudTrail las llamadas a la API AWS Glue en las que el campo additionaleventdata de los registros contenga una entrada insufficientLakeFormationPermissions. Esta entrada enumera la base de datos y la tabla sobre las que el usuario necesita permisos de Lake Formation para llevar a cabo la misma acción.

Se trata de registros de acceso a datos, por lo que no se garantiza que generen una lista completa de los usuarios y sus permisos. Recomendamos elegir un intervalo de tiempo amplio para capturar la mayoría de los patrones de acceso a los datos de sus usuarios, por ejemplo, varias semanas o meses.

Para obtener más información, consulte Visualizadción de eventos con el historial de eventos de CloudTrail en la Guía del usuario de AWS CloudTrail.

A continuación, puede configurar los permisos de Lake Formation para que coincidan con los AWS Glue permisos. Consulte Paso 2: Configurar permisos equivalentes de Lake Formation.

Paso 2: Configurar permisos equivalentes de Lake Formation

Utilizando la información recopilada en AWS Glue, conceda permisos AWS Lake Formation para que coincidan con los permisos Paso 1: Enumerar los permisos existentes de usuarios y roles. Utilice cualquiera de los siguientes métodos para las concesiones:

Para obtener más información, consulte Descripción general de los permisos de Lake Formation .

Después de configurar los permisos de Lake Formation, continúe con Paso 3: Conceder a los usuarios permisos de IAM para usar Lake Formation.

Paso 3: Conceder a los usuarios permisos de IAM para usar Lake Formation

Para usar el modelo de permisos AWS Lake Formation, las entidades principales deben tener permisos de AWS Identity and Access Management (IAM) sobre las API de Lake Formation.

Cree la siguiente política en IAM y vincúlela a cada usuario que necesite acceder a su lago de datos. Llame a la política LakeFormationDataAccess.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "LakeFormationDataAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

A continuación, actualice los permisos de Lake Formation una ubicación de datos cada vez. Consulte Paso 4: Cambiar sus almacenes de datos al modelo de permisos de Lake Formation.

Paso 4: Cambiar sus almacenes de datos al modelo de permisos de Lake Formation

Actualice los permisos de Lake Formation una ubicación de datos cada vez. Para ello, repita toda esta sección hasta registrar todas las rutas de Amazon Simple Storage Service (Amazon S3) a las que hace referencia el Catálogo de datos.

Verificar los permisos de Lake Formation

Antes de registrar una ubicación, complete una etapa de verificación para asegurarse de que las entidades principales correctas tienen los permisos de Lake Formation necesarios y de que no se conceden permisos de Lake Formation a entidades principales que no deberían tenerlos. Mediante la operación de la API GetEffectivePermissionsForPath de Lake Formation, identifique los recursos del Catálogo de datos que hacen referencia a la ubicación de Amazon S3, junto con las entidades principales que tienen permisos sobre dichos recursos.

El siguiente ejemplo de AWS CLI devuelve las bases de datos y las tablas del Catálogo de datos que hacen referencia al bucket de Amazon S3 products.

aws lakeformation get-effective-permissions-for-path --resource-arn arn:aws:s3:::products --profile datalake_admin

Observe la opción profile. Se recomienda ejecutar el comando como administrador de un lago de datos.

Lo siguiente es un extracto de los resultados obtenidos.

{
        "PermissionsWithGrantOption": [
            "SELECT"
        ],
        "Resource": {
            "TableWithColumns": {
                "Name": "inventory_product",
                "ColumnWildcard": {},
                "DatabaseName": "inventory"
            }
        },
        "Permissions": [
            "SELECT"
        ],
        "Principal": {
            "DataLakePrincipalIdentifier": "arn:aws:iam::111122223333:user/datalake_user1",
            "DataLakePrincipalType": "IAM_USER"
        }
 },...
 

Proteja los recursos del Catálogo de datos existentes

A continuación, revoque el permiso Super de cada tabla IAMAllowedPrincipals y base de datos que haya identificado para la ubicación.

Active los permisos de Lake Formation para su ubicación de Amazon S3

A continuación, registre la ubicación de Amazon S3 con Lake Formation. Para ello, puede utilizar el proceso descrito en Añadir una ubicación de Amazon S3 a su lago de datos. O bien, utilice la operación de la API RegisterResource, descrita en API de expedición de credenciales.

Tras finalizar estos pasos y comprobar que sus usuarios pueden acceder a sus datos, habrá actualizado con éxito los permisos de Lake Formation. Continúe en el paso siguiente, Paso 5: Proteger los nuevos recursos del Catálogo de datos.

Paso 5: Proteger los nuevos recursos del Catálogo de datos

A continuación, proteja todos los nuevos recursos del Catálogo de datos cambiando la configuración predeterminada del Catálogo de datos. Desactive las opciones para utilizar solo el control de acceso AWS Identity and Access Management de (IAM) para las nuevas bases de datos y tablas.

El siguiente paso es conceder a los usuarios acceso a bases de datos o tablas adicionales en el futuro. Consulte Paso 6: Proporcionar a los usuarios una nueva política de IAM para el futuro acceso al lago de datos.

Paso 6: Proporcionar a los usuarios una nueva política de IAM para el futuro acceso al lago de datos

Para conceder a sus usuarios acceso a bases de datos o tablas adicionales del Catálogo de datos en el futuro, debe darles la política insertada básica AWS Identity and Access Management (IAM) que se indica a continuación. Llame a la política GlueFullReadAccess.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "GlueFullReadAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess",
                "glue:GetTable",
                "glue:GetTables",
                "glue:SearchTables",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:GetPartitions"
            ],
            "Resource": "*"
        }
    ]
}
	

A continuación, proceda a Paso 7: Limpiar las políticas de IAM existentes.

Paso 7: Limpiar las políticas de IAM existentes

Después de configurar los permisos de AWS Lake Formation y de crear y adjuntar las políticas básicas de control de acceso de AWS Identity and Access Management (IAM), complete el siguiente paso final:

Al hacerlo, se asegura de que esas entidades principales ya no tengan acceso directo a los datos de Amazon Simple Storage Service (Amazon S3). A continuación, puede administrar el acceso al lago de datos para esas entidades principales totalmente a través de Lake Formation.