Ingestion et traitement des lacs de données avec analyse en aval

Les pipelines de traitement des données au sein du lac de données produisent des données. N'importe quel nombre de pipelines sources peuvent être produits au cours de cette étape.

Les composants du pipeline de données publient des journaux, des mesures ou des événements pertinents sur Amazon CloudWatch.

Une AWS Lambda fonction extrait des données depuis Amazon Kinesis Data CloudWatch Streams et les envoie vers Amazon Kinesis Data Streams.

Le flux de données Kinesis est le stockage central des données de streaming en temps quasi réel.

Amazon Kinesis Data Analytics analyse les données en temps quasi réel et enregistre les mesures agrégées dans une base de données Amazon Timestream pour une analyse plus approfondie. Une requête Kinesis Data Analytics peut également détecter des comportements anormaux des données dans le pipeline.

Amazon Timestream prend en charge l'analyse des séries chronologiques et définit les séries chronologiques comme un type de données natif. Il prend en charge les agrégats avancés, les fonctions de fenêtre et les types de données complexes tels que les tableaux et les lignes.

La requête de seuil Amazon Kinesis Data Analytics envoie des analyses en temps quasi réel à Lambda.

Sur la base des données traitées par Kinesis Data Analytics, la fonction Lambda peut envoyer des alertes en temps réel à l'aide d'Amazon Simple Notification Service.

https://docs.aws.amazon.com/quicksight/latest/user/welcome.htmlLes tableaux de bord Amazon Quick Sight visualisent des tendances telles que le nombre de pipelines réussis, le taux d'erreur, la distribution des types d'erreurs, etc.