Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Aufnahme und Verarbeitung von Data Lake mit Downstream-Analytik
Diese Architektur zeigt, wie Datenverarbeitungspipelines innerhalb des Data Lake mithilfe von Downstream-Analysen überwacht werden können. Sie können relevante Protokolle, Metriken und Ereignisse veröffentlichen, um abnormale Verhaltensweisen zu erkennen und Trends nahezu in Echtzeit zu visualisieren.
Erfassung und Verarbeitung von Data Lake mit Downstream Analytics
Die folgenden Schritte beschreiben die Architektur:
-
Datenverarbeitungspipelines innerhalb des Data Lake produzieren Daten. In diesem Schritt kann eine beliebige Anzahl von Quell-Pipelines produzieren.
-
Die Komponenten der Datenpipeline veröffentlichen relevante Protokolle, Metriken oder Ereignisse an Amazon CloudWatch.
-
Eine AWS Lambda Funktion ruft Daten von Amazon Kinesis Data CloudWatch Streams ab und überträgt sie an Amazon Kinesis Data Streams.
-
Der Kinesis-Datenstrom ist der zentrale Speicher für Streaming-Daten nahezu in Echtzeit.
-
Amazon Kinesis Data Analytics analysiert Daten nahezu in Echtzeit und speichert aggregierte Metriken zur weiteren Analyse in einer Amazon Timestream-Datenbank. Eine Kinesis Data Analytics-Abfrage kann auch abnormales Verhalten von Daten in der Pipeline erkennen.
-
Amazon Timestream unterstützt Zeitreihenanalysen und definiert Zeitreihen als systemeigenen Datentyp. Es unterstützt erweiterte Aggregate, Fensterfunktionen und komplexe Datentypen wie Arrays und Zeilen.
-
Die Amazon Kinesis Data Analytics-Schwellenwertabfrage sendet Analysen nahezu in Echtzeit an Lambda.
-
Basierend auf den verarbeiteten Daten von Kinesis Data Analytics kann die Lambda-Funktion mithilfe des Amazon Simple Notification Service Warnmeldungen in Echtzeit senden.
-
Amazon Quick Sight-Dashboards visualisieren Trends wie die Anzahl erfolgreicher Pipelines, die Fehlerrate, die Verteilung der Fehlertypen und mehr.
Weitere Informationen
Weitere Informationen finden Sie in den folgenden Ressourcen:
Geschichte des Diagramms
Abonnieren Sie den RSS-Feed, um über Aktualisierungen dieses Referenzarchitekturdiagramms informiert zu werden.
| Änderung | Beschreibung | Datum |
|---|---|---|
Das Referenzarchitekturdiagramm wurde zuerst veröffentlicht. | 15. Juli 2021 | |
Erste Veröffentlichung | Das Referenzarchitekturdiagramm wurde erstmals veröffentlicht. | 15. Juli 2021 |
Anmerkung
Um RSS-Updates zu abonnieren, muss ein RSS-Plugin für den von Ihnen verwendeten Browser aktiviert sein.
