Integrações ETL zero
A integração ETL zero é uma solução totalmente gerenciada que disponibiliza dados transacionais e operacionais no Amazon Redshift a partir de várias origens operacionais e transacionais. Com essa solução, é possível configurar uma integração da fonte com um data warehouse do Amazon Redshift. Você não precisa manter um pipeline de extração, transformação e carregamento (ETL). Cuidamos do ETL para você automatizando a criação e o gerenciamento da replicação de dados da fonte de dados para o cluster do Amazon Redshift ou o namespace do Redshift Serverless. É possível continuar atualizando e consultando os dados de origem e, ao mesmo tempo, usar o Amazon Redshift em workloads analíticos, como relatórios e painéis.
Com a integração ETL zero, você tem dados mais atualizados para analytics, IA/ML e relatórios. Você recebe insights mais precisos e oportunos para casos de uso como painéis de negócios, experiência de jogo otimizada, monitoramento da qualidade de dados e análise do comportamento do cliente. É possível fazer previsões baseadas em dados com maior confiança, melhorar as experiências dos clientes e promover insights orientados por dados em toda a empresa.
As seguintes origens são atualmente compatíveis com integrações ETL zero:
-
Amazon Aurora MySQL
-
Amazon Aurora PostgreSQL
-
Amazon RDS para MySQL
-
Amazon DynamoDB
-
Aplicações como Salesforce, SAP, ServiceNow e Zendesk
Para criar uma integração ETL zero, você especifica uma origem de integração e um data warehouse do Amazon Redshift como o destino. Após uma carga de dados inicial, a integração replica os dados do banco de dados de origem no data warehouse de destino. Os dados ficam disponíveis no Amazon Redshift. Você controla a criptografia dos seus dados ao criar a origem de integração, ao criar a integração ETL zero e ao criar o data warehouse do Amazon Redshift. A integração monitora a integridade do pipeline de dados e se recupera de problemas quando possível. É possível criar integrações de fontes do mesmo tipo em um único data warehouse do Amazon Redshift para derivar insights holísticos em várias aplicações.
Com os dados no Amazon Redshift, é possível usar a análise fornecida pelo Amazon Redshift. Por exemplo, machine learning (ML) integrado, visões materializadas, compartilhamento de dados e acesso direto a vários armazenamentos de dados e data lakes. Para engenheiros de dados, a Integração ETL zero dá acesso a dados urgentes que, do contrário, podem ser atrasados por erros intermitentes em pipelines de dados complexos. É possível executar consultas analíticas e modelos de ML em dados transacionais para obter insights oportunos de eventos urgentes e decisões comerciais.
É possível criar uma assinatura de notificação de evento do Amazon Redshift, de maneira que você receba uma notificação quando um evento ocorre para uma determinada integração ETL zero. Para exibir a lista de notificações de eventos relacionadas à integração, consulte Notificações de evento da integração ETL zero com o Amazon EventBridge. A maneira mais simples de criar uma assinatura é com o console do Amazon SNS. Para obter informações sobre como criar um tópico do Amazon SNS e assiná-lo, consulte Getting started with Amazon SNS no Guia do desenvolvedor do Amazon Simple Notification Service.
Ao começar a usar integrações ETL zero, considere os seguintes conceitos:
-
Um banco de dados de origem é o banco de dados do qual os dados são replicados para o Amazon Redshift.
-
Um data warehouse de destino é o cluster provisionado do Amazon Redshift ou o grupo de trabalho do Redshift Serverless no qual os dados são replicados.
-
Um banco de dados de destino é o banco de dados criado por você a partir de uma integração ETL zero no data warehouse de destino.
Consulte informações sobre tabelas e visualizações do sistema que você pode usar para monitorar integrações ETL zero em Monitorar integrações ETL zero com visualizações do sistema do Amazon Redshift.
Para obter informações sobre preços de integrações ETL zero, consulte a página de preços indicada:
Para obter mais informações sobre origens de integração ETL zero, consulte os seguintes tópicos:
-
Para integrações ETL zero do Aurora, consulte Benefits, Key concepts, Limitations, Quotas e Supported Regions de integrações ETL zero no Guia do usuário do Amazon Aurora.
-
Para integrações ETL zero do RDS, consulte Benefits, Key concepts, Limitations, Quotas e Supported Regions de integrações ETL zero no Guia do usuário do Amazon RDS.
-
Para integrações ETL zero do DynamoDB, consulte DynamoDB zero-ETL integration with Amazon Redshift no Guia do desenvolvedor do Amazon DynamoDB.
-
Para Integrações ETL zero com aplicações, consulte Integrações ETL zero no Guia do desenvolvedor do AWS Glue.
Tópicos
- Considerações ao usar integrações ETL zero com o Amazon Redshift
- Conceitos básicos das integrações ETL zero
- Criar bancos de dados de destino no Amazon Redshift
- Consulta de dados replicados no Amazon Redshift
- Visualizar Integrações ETL zero
- Compartilhamento de dados no Amazon Redshift
- Monitorar Integrações ETL zero
- Métricas para integrações ETL zero
- Modificar uma integração ETL zero do DynamoDB
- Excluir uma integração ETL zero do DynamoDB
- Solução de problemas em integrações ETL zero