Configurazione AWS Lake Formation

1. Accedi alla AWS CloudFormation console https://console.aws.amazon.com/cloudformation come amministratore IAM nella regione Stati Uniti orientali (Virginia settentrionale).

2. Scegli Launch Stack.

3. Scegli Avanti nella schermata Crea stack.

4. Inserisci il nome dello stack.

5. Per DatalakeAdminName e DatalakeAdminPassword, inserisci il nome utente e la password per l'utente amministratore del data lake.

6. Per DatalakeUser1Name e DatalakeUser1Password, inserisci il nome utente e la password per l'utente Data Lake Analyst.

7. Per DataLakeBucketName, inserisci il nuovo nome del bucket che verrà creato.

8. Scegli Avanti.

9. Nella pagina successiva, scegli I acknowledge that CloudFormation might create IAM resources with custom names e scegli Avanti.

10. Rivedi i dettagli nell'ultima pagina e seleziona Riconosco che AWS CloudFormation potrebbe creare risorse IAM.

11. Scegli Crea.

    La creazione dello stack può richiedere fino a due minuti.

Eseguire la pulizia delle risorse

Se desideri ripulire le risorse dello CloudFormation stack:

1. De-register il bucket Amazon S3 creato e registrato dal tuo stack come posizione di data lake.

2. Elimina lo stack. CloudFormation Questo eliminerà tutte le risorse create dallo stack.

Per creare un amministratore del data lake (console)

1. Se l'utente che deve essere amministratore del data lake non esiste ancora, utilizza la console IAM per crearlo. Altrimenti, scegli un utente esistente che deve essere l'amministratore del data lake.

   Nota

   Ti consigliamo di non selezionare un utente amministrativo IAM (utente con la policy AdministratorAccess AWS gestita) come amministratore del data lake.

   Allega le seguenti politiche AWS gestite all'utente:

   Policy	Obbligatoria?	Note
   AWSLakeFormationDataAdmin	Obbligatorio	Autorizzazioni di base per l'amministratore del data lake. Questa policy AWS gestita contiene un rifiuto esplicito del funzionamento dell'API Lake Formation, PutDataLakeSetting che impedisce agli utenti di creare nuovi amministratori di data lake.
   AWSGlueConsoleFullAccess, CloudWatchLogsReadOnlyAccess	Facoltativo	Allega queste policy se l'amministratore del data lake intende risolvere i problemi dei flussi di lavoro creati dai blueprint di Lake Formation. Queste policy consentono all'amministratore del data lake di visualizzare le informazioni sulla risoluzione dei problemi nella console e nella AWS Glue console. Amazon CloudWatch Logs Per informazioni sui flussi di lavoro, consulta. Importazione di dati utilizzando i flussi di lavoro in Lake Formation
   AWSLakeFormationCrossAccountManager	Facoltativo	Allega questa policy per consentire all'amministratore del data lake di concedere e revocare le autorizzazioni tra account sulle risorse del Data Catalog. Per ulteriori informazioni, consulta Cross-account condivisione dei dati in Lake Formation.
   AmazonAthenaFullAccess	Facoltativo	Allega questa policy se l'amministratore del data lake eseguirà delle query in. Amazon Athena

2. Allega la seguente policy in linea, che concede all'amministratore del data lake l'autorizzazione a creare il ruolo collegato al servizio Lake Formation. Un nome suggerito per la policy è. LakeFormationSLR

   Il ruolo collegato al servizio consente all'amministratore del data lake di registrare più facilmente le sedi Amazon S3 con Lake Formation. Per ulteriori informazioni sul ruolo collegato al servizio di Lake Formation, consulta. Utilizzo di ruoli collegati ai servizi per Lake Formation

   Importante

   In tutte le seguenti politiche, sostituiscile <account-id> con un numero di AWS conto valido.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "iam:CreateServiceLinkedRole",
               "Resource": "*",
               "Condition": {
                   "StringEquals": {
                       "iam:AWSServiceName": "lakeformation.amazonaws.com"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "iam:PutRolePolicy"
               ],
               "Resource": "arn:aws:iam::<account-id>:role/aws-service-role/lakeformation.amazonaws.com/AWSServiceRoleForLakeFormationDataAccess"
           }
       ]
   }
   

3. (Facoltativo) Allega la seguente politica PassRole in linea all'utente. Questa policy consente all'amministratore del data lake di creare ed eseguire flussi di lavoro. L'iam:PassRoleautorizzazione consente al flusso di lavoro di assumere il ruolo di LakeFormationWorkflowRole creare crawler e job e di attribuire il ruolo ai crawler e ai job creati. Un nome suggerito per la policy è. UserPassRole

   Importante

   Sostituisci <account-id> con un numero di AWS conto valido.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Sid": "PassRolePermissions",
               "Effect": "Allow",
               "Action": [
                   "iam:PassRole"
               ],
               "Resource": [
                   "arn:aws:iam::111122223333:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }
   

4. (Facoltativo) Allega questa politica in linea aggiuntiva se il tuo account concederà o riceverà autorizzazioni Lake Formation per più account. Questa policy consente all'amministratore del data lake di visualizzare e accettare AWS Resource Access Manager (AWS RAM) gli inviti alla condivisione delle risorse. Inoltre, per gli amministratori del data lake nell'account di AWS Organizations gestione, la policy include un'autorizzazione per abilitare le concessioni tra account alle organizzazioni. Per ulteriori informazioni, consulta Cross-account condivisione dei dati in Lake Formation.

   Un nome suggerito per la policy è. RAMAccess

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ram:AcceptResourceShareInvitation",
                   "ram:RejectResourceShareInvitation",
                   "ec2:DescribeAvailabilityZones",
                   "ram:EnableSharingWithAwsOrganization"
               ],
               "Resource": "*"
           }
       ]
   }
   

5. Apri la AWS Lake Formation console all'indirizzo https://console.aws.amazon.com/lakeformation/ e accedi come utente con la policy AdministratorAccess AWS gestita.

6. Se viene visualizzata una finestra Welcome to Lake Formation, scegli l'utente IAM che hai creato o selezionato nel passaggio 1, quindi scegli Inizia.

7. Se non vedi la finestra Welcome to Lake Formation, esegui i seguenti passaggi per configurare un amministratore di Lake Formation.

   1. Nel pannello di navigazione, in Amministrazione, scegli Ruoli e attività amministrative. Nella sezione Amministratori del Data Lake della pagina della console, scegli Aggiungi.

   2. Nella finestra di dialogo Aggiungi amministratori, in Tipo di accesso, scegli Amministratore del Data Lake.

   3. Per gli utenti e i ruoli IAM, scegli l'utente IAM che hai creato o selezionato nel passaggio 1, quindi scegli Salva.

Per modificare le impostazioni predefinite del Data Catalog

1. Continua nella console di Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/. Assicurati di aver effettuato l'accesso come utente con la policy AdministratorAccess AWS gestita.

2. Modifica le impostazioni del catalogo dati:

   1. Nel riquadro di navigazione, in Amministrazione, scegli Impostazioni Data Catalog.

   2. Deseleziona entrambe le caselle di controllo e scegli Salva.

      

3. Revoca l'IAMAllowedPrincipalsautorizzazione per i creatori di database.

   1. Nel riquadro di navigazione, in Amministrazione, scegli Ruoli e attività amministrative.

   2. Nella pagina della console Ruoli e attività amministrative, nella sezione Creatori di database, seleziona il IAMAllowedPrincipals gruppo e scegli Revoca.

      Viene visualizzata la finestra di dialogo Revoca autorizzazioni, che mostra che IAMAllowedPrincipals dispone dell'autorizzazione Creazione database.

   3. Scegli Revoca.

Per assegnare le autorizzazioni a un utente non amministratore per accedere ai dati di Lake Formation

1. Apri la console IAM all'indirizzo https://console.aws.amazon.com/iam e accedi come utente con la policy AdministratorAccess AWS gestita.

2. Scegli Utenti o Gruppi di utenti.

3. Nell'elenco, scegli il nome dell'utente o del gruppo in cui integrare una policy.

   Seleziona Autorizzazioni.

4. Scegli Aggiungi autorizzazioni e scegli Allega direttamente le politiche. Inserisci Athena nel campo di testo Filtra le politiche. Nell'elenco dei risultati, seleziona la casella perAmazonAthenaFullAccess.

5. Scegli il pulsante Crea policy. Nella pagina Crea policy, scegli la scheda JSON. Copia e incolla il codice seguente nell'editor delle politiche.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"
               ],
               "Resource": "*"
           }
       ]
   }
   

6. Scegli Avanti fino a visualizzare la pagina Revisione della politica. Inserisci un nome per la politica, ad esempio,DatalakeUserBasic. Scegli Crea policy, quindi chiudi la scheda Policy o la finestra del browser.

Attivare la possibilità di consentire ai motori di terze parti di accedere e filtrare i dati (console)

1. Continua nella console di Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/. Assicurati di aver effettuato l'accesso come principale con l'autorizzazione IAM sul funzionamento dell'PutDataLakeSettingsAPI Lake Formation. L'utente amministratore IAM con cui hai creato Registrati per un Account AWS dispone di questa autorizzazione.

2. Nel riquadro di navigazione, in Amministrazione, scegli Impostazioni di integrazione dell'applicazione.

3. Nella pagina delle impostazioni di integrazione delle applicazioni, procedi come segue:

   1. Seleziona la casella Consenti ai motori esterni di filtrare i dati nelle sedi Amazon S3 registrate con Lake Formation.

   2. Inserisci i valori dei tag di sessione definiti per i motori di terze parti.

   3. Per gli ID degli AWS account, inserisci gli ID degli account da cui i motori di terze parti possono accedere alle sedi registrate con Lake Formation. Premi Invio dopo ogni ID account.

   4. Selezionare Salva.

Per creare un ruolo IAM per i flussi di lavoro

1. Apri la console IAM all'indirizzo https://console.aws.amazon.com/iam e accedi come utente con la policy AdministratorAccess AWS gestita.

2. Nel pannello di navigazione, scegli Ruoli, quindi Crea ruolo.

3. Nella pagina Crea ruolo, scegli il AWS servizio, quindi scegli Glue. Scegli Avanti.

4. Nella pagina Aggiungi autorizzazioni, cerca la policy AWSGlueServiceRole gestita e seleziona la casella di controllo accanto al nome della policy nell'elenco. Quindi completa la procedura guidata per la creazione di un ruolo, assegnando un nome al ruolo. LFWorkflowRole Per finire, scegli Crea ruolo.

5. Torna nella pagina RuoliLFWorkflowRole, cerca e scegli il nome del ruolo.

6. Nella pagina di riepilogo del ruolo, nella scheda Autorizzazioni, scegli Crea policy in linea. Nella schermata Crea policy, vai alla scheda JSON e aggiungi la seguente policy in linea. Un nome suggerito per la policy è. LakeFormationWorkflow

   Importante

   Nella seguente politica, sostituisci <account-id> con un Account AWS numero valido.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                    "lakeformation:GetDataAccess",
                    "lakeformation:GrantPermissions"
                ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": ["iam:PassRole"],
               "Resource": [
                   "arn:aws:iam::111122223333:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }
   

   Di seguito sono riportate brevi descrizioni delle autorizzazioni previste da questa politica:

   • lakeformation:GetDataAccessconsente ai lavori creati dal flusso di lavoro di scrivere nella posizione di destinazione.

   • lakeformation:GrantPermissionsconsente al flusso di lavoro di concedere l'SELECTautorizzazione sulle tabelle di destinazione.

   • iam:PassRoleconsente al servizio di assumere il ruolo di LakeFormationWorkflowRole creare crawler e job (istanze di flussi di lavoro) e di attribuire il ruolo ai crawler e ai job creati.

7. Verifica che al ruolo siano associate due policy. LakeFormationWorkflowRole

8. Se stai inserendo dati che si trovano al di fuori della posizione del data lake, aggiungi una policy in linea che conceda le autorizzazioni per leggere i dati di origine.