Aggiornamento AWS Glue autorizzazioni dati per il modello AWS Lake Formation

AWS Lake Formation le autorizzazioni consentono un controllo granulare degli accessi per i dati nel data lake. Puoi utilizzare il modello di autorizzazioni Lake Formation per gestire AWS Glue Data Catalog gli oggetti e le posizioni dei dati esistenti in Amazon Simple Storage Service (Amazon S3).

Il modello di permessi di Lake Formation utilizza autorizzazioni coarse-grained AWS Identity and Access Management (IAM) per l'accesso al servizio. API Lake Formation utilizza la Filtraggio dei dati e sicurezza a livello di cella in Lake Formation funzionalità per limitare l'accesso alla tabella a livello di colonna, riga e cella per gli utenti e le relative applicazioni. In confronto, AWS Glue il modello garantisce l'accesso ai dati tramite IAMpolitiche basate sull'identità e sulle risorse.

Per effettuare il passaggio, segui i passaggi di questa guida.

Per ulteriori informazioni, consulta Panoramica delle autorizzazioni di Lake Formation .

Informazioni sulle autorizzazioni predefinite

Per mantenere la compatibilità con le versioni precedenti con AWS Glue, per impostazione predefinita, AWS Lake Formation concede l'Superautorizzazione al IAMAllowedPrincipals gruppo su tutti gli elementi esistenti AWS Glue Risorse Data Catalog e concede l'Superautorizzazione per le nuove risorse di Data Catalog se le impostazioni Usa solo il controllo degli IAM accessi sono abilitate. Ciò fa sì che l'accesso alle risorse di Data Catalog e alle sedi Amazon S3 sia controllato esclusivamente da AWS Identity and Access Management (IAM) policy. Il IAMAllowedPrincipals gruppo include tutti IAM gli utenti e i ruoli a cui è consentito l'accesso agli oggetti del Data Catalog in base alle IAM policy dell'utente. L'Superautorizzazione consente a un principale di eseguire tutte le operazioni di Lake Formation supportate sul database o sulla tabella su cui è concessa.

Puoi iniziare a utilizzare Lake Formation per gestire l'accesso ai tuoi dati registrando le posizioni delle risorse Data Catalog esistenti in Lake Formation o utilizzando la modalità di accesso ibrida. Quando registri una posizione Amazon S3 in modalità di accesso ibrido, puoi abilitare le autorizzazioni Lake Formation optando per i principali database e tabelle in quella posizione.

Per facilitare la transizione delle autorizzazioni del data lake da un IAM modello Amazon S3 alle autorizzazioni Lake Formation, ti consigliamo di utilizzare la modalità di accesso ibrida per Data Catalog. Con la modalità di accesso ibrida, hai a disposizione un percorso incrementale in cui puoi abilitare le autorizzazioni di Lake Formation per un set specifico di utenti senza interrompere altri utenti o carichi di lavoro esistenti.

Per ulteriori informazioni, consulta Modalità di accesso ibrida.

Disabilita le impostazioni predefinite del Data Catalog per spostare tutti gli utenti esistenti di una tabella su Lake Formation in un unico passaggio.

Per iniziare a utilizzare le autorizzazioni di Lake Formation con le tue autorizzazioni esistenti AWS Glue Database e tabelle Data Catalog, devi fare quanto segue:

Segui i passaggi in questa sezione per eseguire l'aggiornamento al modello di autorizzazioni Lake Formation.

Passaggio 1: Elenca le autorizzazioni esistenti di utenti e ruoli

Per iniziare a utilizzare AWS Lake Formation le autorizzazioni con le autorizzazioni esistenti AWS Glue database e tabelle, devi prima determinare le autorizzazioni esistenti degli utenti.

Utilizzo dell'APIoperazione

Utilizzate l'ListPoliciesGrantingServiceAccessAPIoperazione AWS Identity and Access Management (IAM) per determinare le IAM politiche associate a ciascun principale (utente o ruolo). Dalle politiche restituite nei risultati, è possibile determinare le IAM autorizzazioni concesse al principale. È necessario richiamare il API per ogni principale separatamente.

aws iam list-policies-granting-service-access --arn arn:aws:iam::111122223333:user/glue_user1 --service-namespaces glue

{
    "PoliciesGrantingServiceAccess": [
        {
            "ServiceNamespace": "glue",
            "Policies": [
                {
                    "PolicyType": "INLINE",
                    "PolicyName": "GlueUserBasic",
                    "EntityName": "glue_user1",
                    "EntityType": "USER"
                },
                {
                    "PolicyType": "MANAGED",
                    "PolicyArn": "arn:aws:iam::aws:policy/AmazonAthenaFullAccess",
                    "PolicyName": "AmazonAthenaFullAccess"
                }
            ]
        }
    ],
    "IsTruncated": false
}

Utilizzando il AWS Management Console

Puoi anche visualizzare queste informazioni sulla console AWS Identity and Access Management (IAM), nella scheda Access Advisor nella pagina di riepilogo dell'utente o del ruolo:

Usando AWS CloudTrail

Un altro modo per determinare le autorizzazioni esistenti consiste nel AWS CloudTrail cercare AWS Glue APIchiamate in cui il additionaleventdata campo dei log contiene una insufficientLakeFormationPermissions voce. Questa voce elenca il database e la tabella su cui l'utente necessita delle autorizzazioni di Lake Formation per eseguire la stessa azione.

Si tratta di registri di accesso ai dati, quindi non è garantito che producano un elenco completo degli utenti e delle relative autorizzazioni. Ti consigliamo di scegliere un ampio intervallo di tempo per registrare la maggior parte dei modelli di accesso ai dati degli utenti, ad esempio diverse settimane o mesi.

Per ulteriori informazioni, consulta Visualizzazione degli eventi con cronologia degli CloudTrail eventi nella Guida per l'AWS CloudTrail utente.

Successivamente, puoi impostare le autorizzazioni di Lake Formation in modo che corrispondano a AWS Glue autorizzazioni. Per informazioni, consulta Fase 2: Impostare le autorizzazioni equivalenti di Lake Formation.

Fase 2: Impostare le autorizzazioni equivalenti di Lake Formation

Utilizzando le informazioni raccolte inPassaggio 1: Elenca le autorizzazioni esistenti di utenti e ruoli, concedi AWS Lake Formation le autorizzazioni corrispondenti a AWS Glue autorizzazioni. Utilizzate uno dei seguenti metodi per eseguire le sovvenzioni:

Per ulteriori informazioni, consulta Panoramica delle autorizzazioni di Lake Formation .

Dopo aver impostato le autorizzazioni di Lake Formation, procedi aPassaggio 3: concedere agli utenti IAM le autorizzazioni per utilizzare Lake Formation.

Passaggio 3: concedere agli utenti IAM le autorizzazioni per utilizzare Lake Formation

Per utilizzare il modello di AWS Lake Formation permessi, i principali devono avere i permessi AWS Identity and Access Management (IAM) su Lake Formation. APIs

Crea la seguente policy IAM e allegala a ogni utente che ha bisogno di accedere al tuo data lake. Assegnare un nome alla policy LakeFormationDataAccess.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "LakeFormationDataAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

Successivamente, esegui l'upgrade alle autorizzazioni di Lake Formation una posizione dati alla volta. Per informazioni, consulta Passaggio 4: Passa i tuoi archivi dati al modello di autorizzazioni Lake Formation.

Passaggio 4: Passa i tuoi archivi dati al modello di autorizzazioni Lake Formation

Passa alle autorizzazioni di Lake Formation una posizione dati alla volta. A tale scopo, ripeti l'intera sezione fino a registrare tutti i percorsi di Amazon Simple Storage Service (Amazon S3) a cui fa riferimento il tuo Data Catalog.

Verifica le autorizzazioni di Lake Formation

Prima di registrare una sede, esegui una procedura di verifica per assicurarti che i mandanti corretti dispongano delle autorizzazioni Lake Formation richieste e che non vengano concesse autorizzazioni Lake Formation ai mandanti che non dovrebbero averle. Utilizzando l'GetEffectivePermissionsForPathAPIoperazione Lake Formation, identifica le risorse del Data Catalog che fanno riferimento alla posizione Amazon S3, insieme ai responsabili che dispongono delle autorizzazioni su tali risorse.

L' AWS CLI esempio seguente restituisce i database e le tabelle del catalogo dati che fanno riferimento al bucket Amazon S3. products

aws lakeformation get-effective-permissions-for-path --resource-arn arn:aws:s3:::products --profile datalake_admin

Nota l'opzione. profile Ti consigliamo di eseguire il comando come amministratore del data lake.

Di seguito è riportato un estratto dei risultati restituiti.

{
        "PermissionsWithGrantOption": [
            "SELECT"
        ],
        "Resource": {
            "TableWithColumns": {
                "Name": "inventory_product",
                "ColumnWildcard": {},
                "DatabaseName": "inventory"
            }
        },
        "Permissions": [
            "SELECT"
        ],
        "Principal": {
            "DataLakePrincipalIdentifier": "arn:aws:iam::111122223333:user/datalake_user1",
            "DataLakePrincipalType": "IAM_USER"
        }
 },...
 

Proteggi le risorse del Data Catalog esistenti

Successivamente, revoca l'Superautorizzazione da IAMAllowedPrincipals ogni tabella e database che hai identificato per la posizione.

Attiva le autorizzazioni di Lake Formation per la tua sede Amazon S3

Quindi, registra la sede Amazon S3 con Lake Formation. A tale scopo, puoi utilizzare la procedura descritta inAggiungere una posizione Amazon S3 al tuo data lake. In alternativa, utilizzare l'RegisterResourceAPIoperazione descritta inAPI di vendita di credenziali.

Dopo aver completato questi passaggi e aver verificato che i tuoi utenti possano accedere ai propri dati, hai eseguito con successo l'upgrade alle autorizzazioni di Lake Formation. Continua con il passaggio successivo,. Fase 5: Proteggi le nuove risorse del Data Catalog

Fase 5: Proteggi le nuove risorse del Data Catalog

Successivamente, proteggi tutte le nuove risorse del Data Catalog modificando le impostazioni predefinite del Data Catalog. Disattiva le opzioni per utilizzare solo AWS Identity and Access Management (IAM) il controllo di accesso per nuovi database e tabelle.

Il passaggio successivo consiste nel concedere agli utenti l'accesso a database o tabelle aggiuntivi in futuro. Per informazioni, consulta Fase 6: Offri agli utenti una nuova IAM policy per i futuri accessi ai data lake.

Fase 6: Offri agli utenti una nuova IAM policy per i futuri accessi ai data lake

Per concedere ai tuoi utenti l'accesso a database o tabelle di Data Catalog aggiuntivi in futuro, devi fornire loro la politica inline coarse-grained AWS Identity and Access Management (IAM) che segue. Assegnare un nome alla policy GlueFullReadAccess.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "GlueFullReadAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess",
                "glue:GetTable",
                "glue:GetTables",
                "glue:SearchTables",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:GetPartitions"
            ],
            "Resource": "*"
        }
    ]
}
	

Quindi, procedi a. Fase 7: Ripulire IAM le politiche esistenti

Fase 7: Ripulire IAM le politiche esistenti

Dopo aver configurato le AWS Lake Formation autorizzazioni e aver creato e allegato le politiche granulari di controllo degli accessi AWS Identity and Access Management (IAM), completa il seguente passaggio finale:

In questo modo, ti assicuri che tali responsabili non abbiano più accesso diretto ai dati in Amazon Simple Storage Service (Amazon S3). Puoi quindi gestire l'accesso al data lake per questi principali interamente tramite Lake Formation.