As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Ingestão e processamento de data lake com análise downstream
Essa arquitetura mostra como monitorar os pipelines de processamento de dados dentro do data lake usando análises downstream. Você pode publicar registros, métricas e eventos relevantes para detectar comportamentos anormais e visualizar tendências quase em tempo real.
Ingestão e processamento de data lake com análise downstream
As etapas a seguir descrevem a arquitetura:
-
Os pipelines de processamento de dados dentro do data lake produzem dados. Qualquer número de pipelines de origem pode produzir nesta etapa.
-
Os componentes do pipeline de dados publicam registros, métricas ou eventos relevantes na Amazon CloudWatch.
-
Uma AWS Lambda função busca dados CloudWatch e envia dados pré-processados para o Amazon Kinesis Data Streams.
-
O stream de dados do Kinesis é o armazenamento central para dados de streaming quase em tempo real.
-
O Amazon Kinesis Data Analytics analisa dados quase em tempo real e salva métricas agregadas em um banco de dados do Amazon Timestream para análise posterior. Uma consulta do Kinesis Data Analytics também pode detectar comportamentos anormais dos dados no pipeline.
-
O Amazon Timestream oferece suporte à análise de séries temporais e define séries temporais como um tipo de dados nativo. Ele suporta agregados avançados, funções de janela e tipos de dados complexos, como matrizes e linhas.
-
A consulta de limite do Amazon Kinesis Data Analytics envia análises quase em tempo real para o Lambda.
-
Com base nos dados processados do Kinesis Data Analytics, a função Lambda pode enviar alertas em tempo real usando o Amazon Simple Notification Service.
-
Os painéis do Amazon Quick Sight visualizam tendências como número de pipelines bem-sucedidos, taxa de erro, distribuição de tipos de erro e muito mais.
Outras fontes de leitura
Para obter informações adicionais, consulte os seguintes recursos:
Histórico do diagrama
Para ser notificado sobre atualizações nesse diagrama de arquitetura de referência, assine o feed RSS.
| Alteração | Descrição | Data |
|---|---|---|
Diagrama de arquitetura de referência publicado pela primeira vez. | 15 de julho de 2021 | |
Publicação inicial | Diagrama de arquitetura de referência publicado pela primeira vez. | 15 de julho de 2021 |
nota
Para assinar as atualizações de RSS, você deve ter um plug-in RSS ativado para o navegador que está usando.
