Estratégias para criar uma solução corporativa baseada em malha de dados em AWS

Dhrubajyoti Mukherjee, Adjoa Taylor e Siva Venkat, da Amazon Web Services ()AWS

Abril de 2024 (histórico do documento)

Clientes da Amazon Web Services (AWS) de todos os tamanhos estão gerando grandes quantidades e tipos de dados. Para gerenciar esses dados, muitas organizações criaram lagos de dados centrais para coletar, armazenar, processar e agir para agregar valor aos clientes e operar seus negócios com mais eficiência. Muitas vezes, uma equipe central de dados cria os pipelines de dados para ingerir dados no data lake e gerencia o acesso aos dados. No entanto, à medida que o volume de dados cresce, a abordagem baseada em data lake não se adapta a ele. Além disso, à medida que o número de criadores e usuários de dados aumenta, a equipe de dados não consegue processar todas as solicitações a tempo e isso se torna um gargalo.

Para resolver esse problema, sua organização pode fornecer autonomia às equipes que geram e usam os dados. As equipes de criadores de dados e usuários podem então gerenciar e acessar os ativos de dados sem depender de uma equipe de dados central. Essa mudança em direção a uma abordagem descentralizada da propriedade de dados requer uma arquitetura de solução de dados descentralizada.

Uma solução de dados descentralizada que usa uma abordagem arquitetônica e organizacional, como malha de dados, ajuda as empresas a acelerar a inovação e gerar valor comercial. A malha de dados é baseada em quatro princípios fundamentais:

Para obter mais informações sobre conceitos e terminologia de malha de dados, consulte a seção Recursos.

Este documento se concentra nas estratégias para criar uma solução baseada em malha de dados no. Nuvem AWSÉ destinado a CTOs, CIOs, CDOs, executivos de TI e de negócios, gerentes de programas e arquitetos. O documento discute o seguinte: