Trabalhar com integrações ETL zero do Amazon RDS com o Amazon Redshift - Amazon Relational Database Service

Trabalhar com integrações ETL zero do Amazon RDS com o Amazon Redshift

Uma integração ETL zero do Amazon RDS com o Amazon Redshift permite análise e machine learning (ML) quase em tempo real usando o Amazon Redshift em petabytes de dados transacionais do RDS. É uma solução totalmente gerenciada para disponibilizar dados transacionais no Amazon Redshift depois de gravados em um banco dados do RDS. Extração, transformação e carregamento (ETL) é o processo de combinar dados de várias fontes em um grande data warehouse central.

Uma integração ETL zero torna os dados no banco de dados do RDS disponíveis no Amazon Redshift quase em tempo real. Quando esses dados estiverem no Amazon Redshift, você poderá potencializar suas workloads de análise, ML e IA usando os recursos integrados do Amazon Redshift, como machine learning, visões materializadas, compartilhamento de dados, acesso federado a vários datastores e data lakes e integrações com Amazon SageMaker, Amazon QuickSight e outros Serviços da AWS.

Para criar uma Integração ETL zero, especifique um banco de dados do Aurora RDScomo a origem e um data warehouse do Amazon Redshift como destino. A integração replica os dados do banco de dados de origem no data warehouse de destino.

O diagrama a seguir ilustra essa funcionalidade:

Uma integração ETL zero

A integração monitora a integridade do pipeline de dados e se recupera de problemas quando possível. É possível criar integrações de vários bancos de dados do RDS em um único namespace do Amazon Redshift, o que permite que você obtenha insights em várias aplicações.

Benefícios

As integrações ETL zero do RDS com o Amazon Redshift apresentam os seguintes benefícios:

  • Ajudam você a obter insights holísticos de várias fontes de dados.

  • Eliminam a necessidade de criar e manter canais de dados complexos que executam operações de extração, transformação e carregamento (ETL). As integrações ETL zero eliminam os desafios que surgem com a criação e o gerenciamento de pipelines, provisionando-os e gerenciando-os para você.

  • Reduzem a carga e os custos operacionais para que você possa se concentrar em melhorar as aplicações.

  • Permitem que você aproveite os recursos de análise e ML do Amazon Redshift para obter insights de dados transacionais e outros dados, a fim de responder de forma eficaz a eventos críticos e urgentes.

Principais conceitos

Ao começar a usar integrações ETL zero, considere os seguintes conceitos:

Integração

Um pipeline de dados totalmente gerenciado que replica automaticamente dados e esquemas transacionais de um banco de dados do RDS em um data warehouse do Amazon Redshift.

Banco de dados de origem

O banco de dados do RDS do qual os dados são replicados. É possível especificar uma instância de banco de dados single-AZ ou multi-AZ ou um cluster de banco de dados multi-AZ.

Data warehouse de destino

O data warehouse do Amazon Redshift para o qual os dados são replicados. Há dois tipos de data warehouse: um data warehouse de cluster provisionado e um data warehouse sem servidor. Um data warehouse de cluster provisionado é um conjunto de recursos computacionais chamados nós, que são organizados em um grupo chamado cluster. Um data warehouse sem servidor é composto por um grupo de trabalho que armazena recursos computacionais e um namespace que abriga os objetos e usuários do banco de dados. Ambos os data warehouses executam um mecanismo do Amazon Redshift e contêm um ou mais bancos de dados.

Vários bancos de dados de origem podem gravar no mesmo destino.

Para obter mais informações, consulte Arquitetura do sistema de data warehouse no Guia do desenvolvedor do Amazon Redshift.

Limitações

As limitações a seguir se aplicam às Integrações ETL zero do RDS com o Amazon Redshift.

Limitações gerais

  • O banco de dados de origem deve estar na mesma região do data warehouse do Amazon Redshift de destino.

  • Não será possível renomear um banco de dados se o cluster tiver integrações existentes.

  • Não é possível criar várias integrações entre os mesmos bancos de dados de origem e destino.

  • Você não pode excluir um banco de dados que tenha integrações existentes. É necessário excluir todas as integrações correspondentes primeiro.

  • Se você interromper o banco de dados de origem, as últimas transações provavelmente não serão replicadas no data warehouse de destino enquanto você não retomar o banco de dados.

  • Você não poderá excluir uma integração se o banco de dados de origem for interrompido.

  • Se o banco de dados for a origem de uma implantação azul/verde, os ambientes azul e verde não poderão ter integrações ETL zero existentes durante a transição. Você deve excluir a integração primeiro, alternar e, depois, recriá-la.

  • Não é possível criar uma integração para um banco de dados de origem que tenha outra integração sendo criada ativamente.

  • Quando você cria inicialmente uma integração ou quando uma tabela está sendo ressincronizada, a propagação de dados da origem para o destino pode levar de 20 a 25 minutos ou mais, dependendo do tamanho do banco de dados de origem. Esse atraso pode levar a um maior atraso na réplica.

  • Alguns tipos de dados não compatíveis. Para ter mais informações, consulte Diferenças de tipos de dados entre os bancos de dados RDS e Amazon Redshift.

  • Transações XA não são compatíveis.

  • Os identificadores de objetos (incluindo nome do banco de dados, nome da tabela, nomes de colunas e outros) só podem conter caracteres alfanuméricos, números, $ e _ (sublinhado).

  • As tabelas do sistema, tabelas temporárias e visualizações não são replicadas no Amazon Redshift.

Limitações do RDS para MySQL

  • O banco de dados de origem deve executar uma versão compatível do RDS para MySQL. Para ver uma lista das versões com suporte, consulte Regiões e mecanismos de banco de dados compatíveis com integrações ETL zero com o Amazon Redshift.

  • As integrações ETL zero dependem do registro em log binário (binlog) do MySQL para capturar alterações contínuas de dados. Não use a filtragem de dados baseada em log binário, pois isso pode causar inconsistências de dados entre os bancos de dados de origem e de destino.

  • As integrações ETL zero são compatíveis apenas com bancos de dados configurados para usar o mecanismo de armazenamento InnoDB.

  • Referências de chave externa com atualizações de tabelas predefinidas não são compatíveis. Especificamente, as regras ON DELETE e ON UPDATE não são compatíveis com as ações CASCADE, SET NULL e SET DEFAULT. A tentativa de criar ou atualizar uma tabela com essas referências a outra tabela colocará a tabela em um estado de falha.

  • Operações de partição ALTER TABLE fazem com que a tabela seja ressincronizada para recarregar dados do RDS no Amazon Redshift. A tabela não estará disponível para consulta durante a ressincronização. Para ter mais informações, consulte Uma ou mais das minhas tabelas do Amazon Redshift exigem ressincronização..

Limitações do Amazon Redshift

Para ter uma lista das limitações do Amazon Redshift relacionadas às integrações ETL zero, consulte Considerações no Guia de gerenciamento do Amazon Redshift.

Cotas

Sua conta tem as seguintes cotas relacionadas às integrações ETL zero do RDS com o Amazon Redshift. Salvo indicação em contrário, cada cota aplica-se por região.

Nome Padrão Descrição
Integrações 100 O número total de integrações em uma Conta da AWS.
Integrações por data warehouse de destino 50 O número de integrações que enviam dados para um único data warehouse de destino do Amazon Redshift.
de origem 1 O número de integrações que enviam dados de uma única instância de banco de dados de origem.

Além disso, o Amazon Redshift impõe certos limites ao número de tabelas permitidas em cada instância de banco de dados ou nó de cluster. Para obter mais informações, consulte “Cotas e limites no Amazon Redshift” no Guia de gerenciamento de clusters do Amazon Redshift.

Regiões compatíveis

As integrações ETL zero do RDS com o Amazon Redshift estão disponíveis em um subconjunto de Regiões da AWS. Para obter uma lista de regiões compatíveis, consulte Regiões e mecanismos de banco de dados compatíveis com integrações ETL zero com o Amazon Redshift.