Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Acquisizione ed elaborazione di Data Lake con analisi a valle
Questa architettura mostra come monitorare le pipeline di elaborazione dei dati all'interno del data lake utilizzando l'analisi a valle. Puoi pubblicare registri, metriche ed eventi pertinenti per rilevare comportamenti anomali e visualizzare le tendenze quasi in tempo reale.
Acquisizione ed elaborazione di Data Lake con Downstream Analytics
I passaggi seguenti descrivono l'architettura:
-
Le pipeline di elaborazione dei dati all'interno del data lake producono dati. In questa fase è possibile produrre un numero qualsiasi di pipeline di origine.
-
I componenti della pipeline di dati pubblicano registri, metriche o eventi pertinenti su Amazon. CloudWatch
-
Una AWS Lambda funzione recupera i dati da CloudWatch e invia i dati preelaborati ad Amazon Kinesis Data Streams. https://docs.aws.amazon.com/streams/latest/dev/introduction.html
-
Il flusso di dati Kinesis è lo storage centrale per lo streaming di dati quasi in tempo reale.
-
Amazon Kinesis Data Analytics analizza i dati quasi in tempo reale e salva le metriche aggregate in un database Amazon Timestream per ulteriori analisi. Una query di Kinesis Data Analytics può anche rilevare comportamenti anomali dei dati nella pipeline.
-
Amazon Timestream supporta l'analisi delle serie temporali e definisce le serie temporali come un tipo di dati nativo. Supporta aggregati avanzati, funzioni a finestra e tipi di dati complessi come array e righe.
-
La richiesta di soglia di Amazon Kinesis Data Analytics invia analisi quasi in tempo reale a Lambda.
-
Sulla base dei dati elaborati da Kinesis Data Analytics, la funzione Lambda può inviare avvisi in tempo reale utilizzando Amazon Simple Notification Service.
-
https://docs.aws.amazon.com/quicksight/latest/user/welcome.htmlLe dashboard di Amazon Quick Sight visualizzano tendenze come il numero di pipeline riuscite, il tasso di errore, la distribuzione dei tipi di errore e altro ancora.
Approfondimenti
Per ulteriori informazioni, consulta le seguenti risorse:
Storia del diagramma
Per ricevere notifiche sugli aggiornamenti di questo diagramma di architettura di riferimento, iscriviti al feed RSS.
| Modifica | Descrizione | Data |
|---|---|---|
Diagramma dell'architettura di riferimento pubblicato per la prima volta. | 15 luglio 2021 | |
Pubblicazione iniziale | Diagramma dell'architettura di riferimento pubblicato per la prima volta. | 15 luglio 2021 |
Nota
Per iscriverti agli aggiornamenti RSS, devi avere un plugin RSS abilitato per il browser che stai utilizzando.
