Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Acquisizione ed elaborazione del data lake di tracciamento
Data di pubblicazione: 15 luglio 2021 () Storia del diagramma
Questa architettura mostra come tracciare l'ingestione e l'elaborazione del data lake utilizzando AWS. X-Ray Puoi emettere tracce dai principali punti di controllo del flusso per diagnosticare i problemi del ciclo di vita dell'elaborazione dei dati del data lake e identificare i colli di bottiglia nelle prestazioni.
Tracciamento dell'acquisizione e dell'elaborazione dei dati tramite AWS X-Ray
I passaggi seguenti descrivono l'architettura:
-
Diversi produttori forniscono dati nel data lake creato su Amazon Simple Storage Service.
-
I dati arrivano prima in un bucket Amazon S3 per i dati grezzi. Questa è la prima traccia poiché AWS X-Ray consente di tracciare i messaggi per le notifiche di eventi di Amazon S3.
-
I blocchi di gestione del data lake preparano i dati per l'analisi. AWS Step Functionsattiva questi blocchi di elaborazione. AWS X-Ray si integra con Step Functions per aiutarti a identificare i colli di bottiglia nelle prestazioni e risolvere le richieste che hanno provocato un errore.
-
X-Ray AWS è in grado di tracciare le funzioni. AWS Lambda Lambda esegue il X-Ray demone e registra un segmento con dettagli sull'invocazione della funzione e sui risultati. Per ulteriore strumentazione, abbina l' X-Ray SDK alla funzione per registrare le chiamate in uscita e aggiungere annotazioni e metadati.
-
La cura dei dati continua con la macchina a stati Step Functions che attiva il blocco di cura successivo. Come il primo blocco, X-Ray può acquisire funzioni Step e funzioni Lambda.
-
I dati arrivano in un bucket aggregato pronto per l'analisi. Questa è l'ultima traccia del flusso di ingestione del data lake. Grazie alle tracce emesse da tutti i checkpoint principali, è possibile diagnosticare i problemi relativi al ciclo di vita dell'elaborazione del data lake.
-
Diversi strumenti di analisi come Amazon Quick Sight, Amazon Redshift e Amazon Athena consentono di visualizzare i dati del data lake creato su Amazon S3.
Approfondimenti
Per ulteriori informazioni, consulta le seguenti risorse:
Storia del diagramma
Per ricevere notifiche sugli aggiornamenti di questo diagramma di architettura di riferimento, iscriviti al feed RSS.
| Modifica | Descrizione | Data |
|---|---|---|
Pubblicazione iniziale | Diagramma dell'architettura di riferimento pubblicato per la prima volta. | 15 luglio 2021 |
Diagramma dell'architettura di riferimento pubblicato per la prima volta. | 15 luglio 2021 |
Nota
Per iscriverti agli aggiornamenti RSS, devi avere un plugin RSS abilitato per il browser che stai utilizzando.
