As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Gerenciando inserções e atualizações em um data lake sem servidor
Data de publicação: 15 de junho de 2021 (Histórico do diagrama)
Essa arquitetura mostra como usar a Apache Hudi execução no Amazon EMR para processar inserções e atualizações em conjuntos de dados no Amazon Simple Storage Service. Você pode criar um data lake econômico e escalável que forneça análises sob demanda e crie data marts persistentes.
Gerenciando inserções e atualizações em um data lake sem servidor
As etapas a seguir descrevem a arquitetura:
-
Ingira dados de sistemas de origem usando lote, captura de dados de alteração (CDC) ou streaming para a camada bruta no Amazon S3.
-
Depois que os dados persistirem no data lake bruto no Amazon S3, rastreie os dados e preencha-os no catálogo de dados do AWS Glue usando um rastreador.
-
Coloque dados brutos em um cluster do Amazon EMR e leia-os usando o Hive e o Spark para limpeza e transformação.
-
Apache Hudiem execução no Amazon EMR, lê os dados usando as APIs do Spark e realiza inserções e atualizações nos conjuntos de dados necessários.
-
Recoloque os dados limpos e transformados nos buckets processados e reportáveis do Amazon S3.
-
Consuma os dados reportáveis sob demanda usando o Athena ou carregue-os no Amazon Redshift. Usuários, ferramentas e recursos diferentes podem consumir esses dados.
-
Gerencie toda a movimentação de dados, gire clusters do Amazon EMR sob demanda para dados em lote e carregue os dados usando a orquestração do fluxo de trabalho com o Amazon Managed Workflows for (MWAA). Apache Airflow
Outras fontes de leitura
Para obter informações adicionais, consulte os seguintes recursos:
Histórico do diagrama
Para ser notificado sobre atualizações nesse diagrama de arquitetura de referência, assine o feed RSS.
| Alteração | Descrição | Data |
|---|---|---|
Publicação inicial | Diagrama de arquitetura de referência publicado pela primeira vez. | 15 de junho de 2021 |
nota
Para assinar as atualizações de RSS, você deve ter um plug-in RSS ativado para o navegador que está usando.
