Mise à niveau AWS Glue autorisations de données pour le AWS Lake Formation modèle

AWS Lake Formation les autorisations permettent un contrôle d'accès précis pour les données de votre lac de données. Vous pouvez utiliser le modèle d'autorisations de Lake Formation pour gérer vos AWS Glue Data Catalog objets et emplacements de données existants dans Amazon Simple Storage Service (Amazon S3).

Le modèle d'autorisations de Lake Formation utilise des autorisations grossières AWS Identity and Access Management (IAM) pour l'accès aux services. API Lake Formation utilise des Filtrage des données et sécurité au niveau des cellules dans Lake Formation fonctionnalités pour restreindre l'accès aux tables au niveau des colonnes, des lignes et des cellules pour les utilisateurs et leurs applications. À titre de comparaison, le AWS Glue le modèle accorde l'accès aux données via des IAMpolitiques basées sur l'identité et basées sur les ressources.

Pour effectuer le changement, suivez les étapes décrites dans ce guide.

Pour de plus amples informations, veuillez consulter Vue d'ensemble des autorisations relatives à Lake Formation .

À propos des autorisations par défaut

Pour maintenir la rétrocompatibilité avec AWS Glue, par défaut, AWS Lake Formation accorde l'Superautorisation au IAMAllowedPrincipals groupe sur tous les sites existants AWS Glue Ressources du catalogue de données, et accorde l'Superautorisation sur les nouvelles ressources du catalogue de données si les paramètres Utiliser uniquement le contrôle IAM d'accès sont activés. Ainsi, l'accès aux ressources du catalogue de données et aux emplacements Amazon S3 est contrôlé uniquement par des politiques AWS Identity and Access Management (IAM). Le IAMAllowedPrincipals groupe inclut tous IAM les utilisateurs et rôles autorisés à accéder aux objets de votre catalogue de données conformément à vos IAM politiques. L'Superautorisation permet au principal d'effectuer toutes les opérations de Lake Formation prises en charge sur la base de données ou la table pour laquelle elle est accordée.

Vous pouvez commencer à utiliser Lake Formation pour gérer l'accès à vos données en enregistrant les emplacements des ressources du catalogue de données existantes dans Lake Formation ou en utilisant le mode d'accès hybride. Lorsque vous enregistrez l'emplacement Amazon S3 en mode d'accès hybride, vous pouvez activer les autorisations de Lake Formation en optant pour les principes pour les bases de données et les tables situées sous cet emplacement.

Pour faciliter la transition des autorisations de lac de données d'un IAM modèle Amazon S3 vers les autorisations Lake Formation, nous vous recommandons d'utiliser le mode d'accès hybride pour Data Catalog. Avec le mode d'accès hybride, vous disposez d'un chemin incrémentiel qui vous permet d'activer les autorisations de Lake Formation pour un ensemble spécifique d'utilisateurs sans interrompre les autres utilisateurs ou charges de travail existants.

Pour de plus amples informations, veuillez consulter Mode d'accès hybride.

Désactivez les paramètres par défaut du catalogue de données pour déplacer tous les utilisateurs existants d'une table vers Lake Formation en une seule étape.

Pour commencer à utiliser les autorisations de Lake Formation avec vos autorisations existantes AWS Glue Bases de données et tables du catalogue de données, vous devez effectuer les opérations suivantes :

Suivez les étapes décrites dans cette section pour passer au modèle d'autorisations Lake Formation.

Étape 1 : Répertorier les autorisations existantes des utilisateurs et des rôles

Pour commencer à utiliser AWS Lake Formation les autorisations avec vos autorisations existantes AWS Glue bases de données et tables, vous devez d'abord déterminer les autorisations existantes de vos utilisateurs.

Utilisation de l'APIopération

Utilisez l'ListPoliciesGrantingServiceAccessAPIopération AWS Identity and Access Management (IAM) pour déterminer les IAM politiques associées à chaque principal (utilisateur ou rôle). À partir des politiques renvoyées dans les résultats, vous pouvez déterminer les IAM autorisations accordées au principal. Vous devez invoquer le API pour chaque principal séparément.

aws iam list-policies-granting-service-access --arn arn:aws:iam::111122223333:user/glue_user1 --service-namespaces glue

{
    "PoliciesGrantingServiceAccess": [
        {
            "ServiceNamespace": "glue",
            "Policies": [
                {
                    "PolicyType": "INLINE",
                    "PolicyName": "GlueUserBasic",
                    "EntityName": "glue_user1",
                    "EntityType": "USER"
                },
                {
                    "PolicyType": "MANAGED",
                    "PolicyArn": "arn:aws:iam::aws:policy/AmazonAthenaFullAccess",
                    "PolicyName": "AmazonAthenaFullAccess"
                }
            ]
        }
    ],
    "IsTruncated": false
}

À l'aide du AWS Management Console

Vous pouvez également consulter ces informations sur la console AWS Identity and Access Management (IAM), dans l'onglet Access Advisor de la page Résumé de l'utilisateur ou du rôle :

En utilisant AWS CloudTrail

Une autre façon de déterminer vos autorisations existantes consiste à AWS CloudTrail rechercher AWS Glue APIappels où le additionaleventdata champ des logs contient une insufficientLakeFormationPermissions entrée. Cette entrée répertorie la base de données et la table pour lesquelles l'utilisateur doit disposer des autorisations de Lake Formation pour effectuer la même action.

Il s'agit de journaux d'accès aux données, il n'est donc pas garanti qu'ils produisent une liste complète des utilisateurs et de leurs autorisations. Nous vous recommandons de choisir une plage de temps étendue pour capturer la plupart des modèles d'accès aux données de vos utilisateurs, par exemple plusieurs semaines ou mois.

Pour plus d'informations, consultez la section Affichage des événements avec l'historique des CloudTrail événements dans le guide de AWS CloudTrail l'utilisateur.

Ensuite, vous pouvez configurer les autorisations de Lake Formation pour qu'elles correspondent aux AWS Glue autorisations. Consultez Étape 2 : configurer des autorisations équivalentes pour Lake Formation.

Étape 2 : configurer des autorisations équivalentes pour Lake Formation

À l'aide des informations collectées dansÉtape 1 : Répertorier les autorisations existantes des utilisateurs et des rôles, accordez AWS Lake Formation des autorisations correspondant aux AWS Glue autorisations. Utilisez l'une des méthodes suivantes pour effectuer les subventions :

Pour de plus amples informations, veuillez consulter Vue d'ensemble des autorisations relatives à Lake Formation .

Après avoir configuré les autorisations de Lake Formation, passez àÉtape 3 : IAM Autoriser les utilisateurs à utiliser Lake Formation.

Étape 3 : IAM Autoriser les utilisateurs à utiliser Lake Formation

Pour utiliser le modèle AWS Lake Formation d'autorisations, les directeurs doivent avoir AWS Identity and Access Management (IAM) des autorisations sur la Lake FormationAPIs.

Créez la politique suivante IAM et associez-la à chaque utilisateur ayant besoin d'accéder à votre lac de données. Nommez la stratégie LakeFormationDataAccess.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "LakeFormationDataAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

Passez ensuite aux autorisations de Lake Formation, un emplacement de données à la fois. Consultez Étape 4 : Basculez vos magasins de données vers le modèle d'autorisations Lake Formation.

Étape 4 : Basculez vos magasins de données vers le modèle d'autorisations Lake Formation

Passez aux autorisations de Lake Formation, un emplacement de données à la fois. Pour ce faire, répétez l'intégralité de cette section jusqu'à ce que vous ayez enregistré tous les chemins Amazon Simple Storage Service (Amazon S3) référencés par votre catalogue de données.

Vérifiez les autorisations de Lake Formation

Avant d'enregistrer un emplacement, effectuez une étape de vérification pour vous assurer que les bons directeurs disposent des autorisations requises pour la formation de Lake et qu'aucune autorisation de Lake Formation n'est accordée à des directeurs qui ne devraient pas en avoir. À l'aide de l'GetEffectivePermissionsForPathAPIopération Lake Formation, identifiez les ressources du catalogue de données qui font référence à l'emplacement Amazon S3, ainsi que les principaux détenteurs d'autorisations sur ces ressources.

L' AWS CLI exemple suivant renvoie les bases de données et les tables du catalogue de données qui font référence au compartiment Amazon S3products.

aws lakeformation get-effective-permissions-for-path --resource-arn arn:aws:s3:::products --profile datalake_admin

Notez l'profileoption. Nous vous recommandons d'exécuter la commande en tant qu'administrateur du lac de données.

Ce qui suit est un extrait des résultats renvoyés.

{
        "PermissionsWithGrantOption": [
            "SELECT"
        ],
        "Resource": {
            "TableWithColumns": {
                "Name": "inventory_product",
                "ColumnWildcard": {},
                "DatabaseName": "inventory"
            }
        },
        "Permissions": [
            "SELECT"
        ],
        "Principal": {
            "DataLakePrincipalIdentifier": "arn:aws:iam::111122223333:user/datalake_user1",
            "DataLakePrincipalType": "IAM_USER"
        }
 },...
 

Sécuriser les ressources du catalogue de données existantes

Ensuite, révoquez l'Superautorisation pour chaque table et IAMAllowedPrincipals base de données que vous avez identifiées pour l'emplacement.

Activez les autorisations de Lake Formation pour votre site Amazon S3

Enregistrez ensuite l'emplacement Amazon S3 auprès de Lake Formation. Pour ce faire, vous pouvez utiliser le processus décrit dansAjouter un emplacement Amazon S3 à votre lac de données. Vous pouvez également utiliser l'RegisterResourceAPIopération décrite dansAPI de vente d'informations d'identification.

Après avoir terminé ces étapes et vérifié que vos utilisateurs peuvent accéder à leurs données, vous avez passé avec succès aux autorisations Lake Formation. Passez à l'étape suivante,Étape 5 : Sécuriser les nouvelles ressources du catalogue de données.

Étape 5 : Sécuriser les nouvelles ressources du catalogue de données

Sécurisez ensuite toutes les nouvelles ressources du catalogue de données en modifiant les paramètres par défaut du catalogue de données. Désactivez les options permettant d'utiliser uniquement le contrôle d'accès AWS Identity and Access Management (IAM) pour les nouvelles bases de données et tables.

L'étape suivante consiste à accorder aux utilisateurs l'accès à des bases de données ou à des tables supplémentaires à l'avenir. Consultez Étape 6 : Donnez aux utilisateurs une nouvelle IAM politique pour l'accès futur aux lacs de données.

Étape 6 : Donnez aux utilisateurs une nouvelle IAM politique pour l'accès futur aux lacs de données

Pour permettre à vos utilisateurs d'accéder à des bases de données ou à des tables supplémentaires du catalogue de données à l'avenir, vous devez leur donner la politique en ligne grossière AWS Identity and Access Management (IAM) décrite ci-dessous. Nommez la stratégie GlueFullReadAccess.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "GlueFullReadAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess",
                "glue:GetTable",
                "glue:GetTables",
                "glue:SearchTables",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:GetPartitions"
            ],
            "Resource": "*"
        }
    ]
}
	

Ensuite, passez àÉtape 7 : Nettoyer les IAM politiques existantes.

Étape 7 : Nettoyer les IAM politiques existantes

Après avoir configuré les AWS Lake Formation autorisations et créé et attaché les politiques de contrôle d'accès AWS Identity and Access Management (IAM) grossières, effectuez la dernière étape suivante :

Ce faisant, vous vous assurez que ces principaux n'ont plus accès directement aux données d'Amazon Simple Storage Service (Amazon S3). Vous pouvez ensuite gérer l'accès aux lacs de données pour ces principaux entièrement via Lake Formation.