Creazione di un data lake da un' AWS CloudTrail origine

Passaggi di alto livello per la creazione di un data lake

1. Registra un percorso Amazon Simple Storage Service (Amazon S3) come data lake.

2. Concedi a Lake Formation le autorizzazioni per scrivere nel Data Catalog e nelle posizioni Amazon S3 nel data lake.

3. Crea un database per organizzare le tabelle di metadati nel Data Catalog.

4. Usa un blueprint per creare un flusso di lavoro. Esegui il flusso di lavoro per importare dati da una fonte di dati.

5. Configura le tue autorizzazioni Lake Formation per consentire ad altri di gestire i dati nel Data Catalog e nel data lake.

6. Configura Amazon Athena per interrogare i dati che hai importato nel tuo data lake Amazon S3.

7. Per alcuni tipi di data store, configura Amazon Redshift Spectrum per interrogare i dati che hai importato nel tuo data lake Amazon S3.

1. Apri la console IAM all'indirizzo https://console.aws.amazon.com/iam. Accedi come utente amministratore che hai creato Crea un utente con accesso amministrativo o come utente con la policy AdministratorAccess AWS gestita.

2. Crea un utente denominato datalake_user con le seguenti impostazioni:

   • Abilita AWS Management Console l'accesso.

   • Imposta una password e non richiedi la reimpostazione della password.

   • Allega la politica AmazonAthenaFullAccess AWS gestita.

   • Allega la seguente politica in linea. Assegnare un nome alla policy DatalakeUserBasic.

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "lakeformation:GetDataAccess",
                     "glue:GetTable",
                     "glue:GetTables",
                     "glue:SearchTables",
                     "glue:GetDatabase",
                     "glue:GetDatabases",
                     "glue:GetPartitions",
                     "lakeformation:GetResourceLFTags",
                     "lakeformation:ListLFTags",
                     "lakeformation:GetLFTag",
                     "lakeformation:SearchTablesByLFTags",
                     "lakeformation:SearchDatabasesByLFTags"                
                ],
                 "Resource": "*"
             }
         ]
     }

1. Allega la seguente politica in linea al ruolo. LakeFormationWorkflowRole La policy concede il permesso di leggere i tuoi AWS CloudTrail log. Assegnare un nome alla policy DatalakeGetCloudTrail.

   Per creare il ruolo LakeFormationWorkflowRole, consulta (Facoltativo) Crea un ruolo per i flussi di lavoro IAM.

   Importante

   Replace (Sostituisci) <your-s3-cloudtrail-bucket> con la posizione dei tuoi CloudTrail dati su Amazon S3.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "s3:GetObject",
               "Resource": ["arn:aws:s3:::<your-s3-cloudtrail-bucket>/*"]
           }
       ]
   }

2. Verifica che al ruolo siano associate tre policy.

1. Apri la console Amazon S3 all'indirizzo https://console.aws.amazon.com/s3/e accedi come utente amministratore con cui hai creato. Crea un utente con accesso amministrativo

2. Scegli Crea bucket e segui la procedura guidata per creare un bucket denominato, dove <yourName>-datalake-cloudtrail <yourName> è la tua prima iniziale e il tuo cognome. Ad esempio: jdoe-datalake-cloudtrail.

   Per istruzioni dettagliate sulla creazione di un bucket Amazon S3, consulta Creazione di un bucket.

1. Apri la console Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/. Accedi come amministratore del data lake.

2. Nel riquadro di navigazione, in Registra e inserisci, scegli Data lake locations.

3. Scegli Registra posizione e poi Sfoglia.

4. Seleziona il <yourName>-datalake-cloudtrail bucket che hai creato in precedenza, accetta il IAM ruolo predefinitoAWSServiceRoleForLakeFormationDataAccess, quindi scegli Registra posizione.

   Per ulteriori informazioni sulla registrazione delle sedi, consulta. Aggiungere una posizione Amazon S3 al tuo data lake

1. Nel riquadro di navigazione, in Autorizzazioni, scegli Posizioni dei dati.

2. Scegli Concedi e, nella finestra di dialogo Concedi autorizzazioni, effettua le seguenti selezioni:

   1. Per IAMutenti e ruoli, scegliete. LakeFormationWorkflowRole

   2. Per le posizioni di archiviazione, scegli il tuo <yourName>-datalake-cloudtrail bucket.

3. Scegli Concessione.

1. Nel riquadro di navigazione, in Catalogo dati, scegli Database.

2. Scegli Crea database e in Dettagli del database, inserisci il nomelakeformation_cloudtrail.

3. Lascia vuoti gli altri campi e scegli Crea database.

1. Nella console Lake Formation, nel riquadro di navigazione, in Catalogo dati, scegli Databases.

2. Scegli il lakeformation_cloudtrail database, quindi, dall'elenco a discesa Azioni, scegli Concedi sotto la voce Autorizzazioni.

3. Nella finestra di dialogo Concedi le autorizzazioni per i dati, effettua le seguenti selezioni:

   1. In Principali, per IAMutenti e ruoli, scegli. LakeFormationWorkflowRole

   2. In LF-tags o Catalog resources, scegli Named data catalog resources.

   3. Per i database, dovresti vedere che il lakeformation_cloudtrail database è già stato aggiunto.

   4. In Autorizzazioni del database, seleziona Crea tabella, Alter e Drop e deseleziona Super se è selezionato.

   La finestra di dialogo Concedi le autorizzazioni per i dati ora dovrebbe avere l'aspetto di questa schermata.

   

4. Scegli Concessione.

1. Nella console di Lake Formation, nel pannello di navigazione, scegli Blueprints, quindi scegli Usa blueprint.

2. Nella pagina Usa un blueprint, in Tipo di blueprint, scegli. AWS CloudTrail

3. In Importa fonte, scegli una CloudTrail fonte e una data di inizio.

4. In Import target, specifica questi parametri:

   Database di destinazione	lakeformation_cloudtrail
   Posizione di archiviazione di destinazione	s3://<yourName>-datalake-cloudtrail
   Formato dei dati	Parquet

5. Per la frequenza di importazione, scegli Esegui su richiesta.

6. In Opzioni di importazione, specificate questi parametri:

   Nome del flusso di lavoro	lakeformationcloudtrailtest
   IAMruolo	LakeFormationWorkflowRole
   prefisso della tabella	cloudtrailtest Nota Deve essere in minuscolo.

7. Scegli Crea e attendi che la console segnali che il flusso di lavoro è stato creato correttamente.

   Suggerimento

   Hai ricevuto il seguente messaggio di errore?

   User: arn:aws:iam::<account-id>:user/<datalake_administrator_user> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole...

   In tal caso, verifica di averlo sostituito <account-id> nella politica in linea per l'utente amministratore del data lake con un numero di AWS account valido.

• Nella pagina Blueprint, seleziona il flusso di lavoro lakeformationcloudtrailtest e nel menu Azioni scegli Avvia.

  Durante l'esecuzione del flusso di lavoro, è possibile visualizzarne l'avanzamento nella colonna Stato dell'ultima esecuzione. Scegli il pulsante di aggiornamento di tanto in tanto.

  Lo stato va da RUNNING, a In scoperta, a Importazione, a. COMPLETED

  Al termine del flusso di lavoro:

  • Il Data Catalog avrà nuove tabelle di metadati.

  • CloudTrail I log verranno inseriti nel data lake.

  Se il flusso di lavoro fallisce, procedi come segue:

  1. Seleziona il flusso di lavoro e nel menu Azioni scegli Visualizza grafico.

     Il flusso di lavoro viene aperto nel AWS Glue console.

  2. Verifica che il flusso di lavoro sia selezionato e scegli la scheda History (Cronologia).

  3. In Cronologia, seleziona l'esecuzione più recente e scegli Visualizza i dettagli della corsa.

  4. Seleziona un processo o un crawler non riuscito nel grafico dinamico (di runtime) ed esamina il messaggio di errore. I nodi con errori sono rossi o gialli.

1. Nella console Lake Formation, nel riquadro di navigazione, in Catalogo dati, scegli Databases.

2. Scegli il lakeformation_cloudtrail database, quindi, dall'elenco a discesa Azioni, scegli Concedi sotto la voce Autorizzazioni.

3. Nella finestra di dialogo Concedi le autorizzazioni per i dati, effettua le seguenti selezioni:

   1. In Principali, per IAMutenti e ruoli, scegli. datalake_user

   2. In LF-tags o Catalog resources, scegli Named data catalog resources.

   3. Per Databases, il lakeformation_cloudtrail database dovrebbe essere già selezionato.

   4. Per Tabelle, sceglietecloudtrailtest-cloudtrail.

   5. In Autorizzazioni per tabelle e colonne, scegli Seleziona.

4. Scegli Concessione.

1. Apri la console Athena all'indirizzo https://console.aws.amazon.com/athena/e accedi come analista di dati, utente. datalake_user

2. Se necessario, scegli Inizia per passare all'editor di query Athena.

3. Per Origine dati scegliere AwsDataCatalog.

4. Per Database, scegliere lakeformation_cloudtrail.

   L'elenco delle tabelle viene compilato.

5. Nel menu a discesa (3 punti disposti orizzontalmente) accanto alla tabellacloudtrailtest-cloudtrail, scegliete Anteprima tabella, quindi scegliete Esegui.

   La query viene eseguita e visualizza 10 righe di dati.

   Se non hai mai usato Athena in precedenza, devi prima configurare una posizione Amazon S3 nella console Athena per archiviare i risultati delle query. datalake_userÈ necessario disporre delle autorizzazioni necessarie per accedere al bucket Amazon S3 scelto.