Trabalhar com integrações ETL zero do Aurora com o Amazon Redshift

Ajudam você a obter insights holísticos de várias fontes de dados.

Eliminam a necessidade de criar e manter canais de dados complexos que executam operações de extração, transformação e carregamento (ETL). As integrações ETL zero eliminam os desafios que surgem com a criação e o gerenciamento de pipelines, provisionando-os e gerenciando-os para você.

Reduzem a carga e os custos operacionais para que você possa se concentrar em melhorar as aplicações.

Permitem que você aproveite os recursos de análise e ML do Amazon Redshift para obter insights de dados transacionais e outros dados, a fim de responder de forma eficaz a eventos críticos e urgentes.

O cluster de banco de dados de origem deve estar na mesma região do data warehouse do Amazon Redshift de destino.

Não será possível renomear um cluster de banco de dados ou qualquer uma de suas instâncias se o cluster tiver integrações existentes.

Não é possível criar várias integrações entre os mesmos bancos de dados de origem e destino.

Você não pode excluir um cluster de banco de dados que tenha integrações existentes. É necessário excluir todas as integrações correspondentes primeiro.

Se você interromper o cluster de banco de dados de origem, as últimas transações provavelmente não serão replicadas no data warehouse de destino enquanto você não retomar o cluster.

Se o cluster for a origem de uma implantação azul/verde, os ambientes azul e verde não poderão ter integrações ETL zero existentes durante a transição. Você deve excluir a integração primeiro, alternar e, depois, recriá-la.

Um cluster de banco de dados deve conter pelo menos uma instância de banco de dados para ser a origem de uma integração.

Se o cluster de origem for o cluster de banco de dados primário em um banco de dados global do Aurora e fizer o failover em um de seus clusters secundários, a integração se tornará inativa. Você precisa excluir e recriar a integração.

Não é possível criar uma integração para um banco de dados de origem que tenha outra integração sendo criada ativamente.

Quando você cria inicialmente uma integração ou quando uma tabela está sendo ressincronizada, a propagação de dados da origem para o destino pode levar de 20 a 25 minutos ou mais, dependendo do tamanho do banco de dados de origem. Esse atraso pode levar a um maior atraso na réplica.

Alguns tipos de dados não compatíveis. Para ter mais informações, consulte Diferenças de tipos de dados entre os bancos de dados Aurora e Amazon Redshift.

Transações XA não são compatíveis.

Os identificadores de objetos (incluindo nome do banco de dados, nome da tabela, nomes de colunas e outros) só podem conter caracteres alfanuméricos, números, $ e _ (sublinhado).

As tabelas do sistema, tabelas temporárias e visualizações não são replicadas no Amazon Redshift.

Seu cluster de banco de dados de origem deve estar executando uma versão compatível do Aurora MySQL. Para ver uma lista das versões com suporte, consulte Regiões e mecanismos de banco de dados do Aurora compatíveis com integrações ETL zero com o Amazon Redshift.

As integrações ETL zero dependem do registro em log binário (binlog) do MySQL para capturar alterações contínuas de dados. Não use a filtragem de dados baseada em log binário, pois isso pode causar inconsistências de dados entre os bancos de dados de origem e de destino.

As integrações ETL zero são compatíveis apenas com bancos de dados configurados para usar o mecanismo de armazenamento InnoDB.

Referências de chave externa com atualizações de tabelas predefinidas não são compatíveis. Especificamente, as regras ON DELETE e ON UPDATE não são compatíveis com as ações CASCADE, SET NULL e SET DEFAULT. A tentativa de criar ou atualizar uma tabela com essas referências a outra tabela colocará a tabela em um estado de falha.

Operações de partição ALTER TABLE fazem com que a tabela seja ressincronizada para recarregar dados do Aurora no Amazon Redshift. A tabela não estará disponível para consulta durante a ressincronização. Para ter mais informações, consulte Uma ou mais das minhas tabelas do Amazon Redshift exigem ressincronização..

O cluster de banco de dados de origem deve estar executando o Aurora PostgreSQL (compatível com o PostgreSQL 15.4 e suporte a ETL zero).

É possível criar e gerenciar integrações ETL zero para o Aurora PostgreSQL somente no Ambiente de Pré-visualização do Banco de Dados do Amazon RDS, na Região da AWS do Leste dos EUA (Ohio) (us-east-2). É possível usar o ambiente de pré-visualização para testar as versões beta, candidata a lançamento e de produção inicial do software de mecanismo de banco de dados do PostgreSQL.

Só é possível criar e gerenciar integrações para o Aurora PostgreSQL usando o AWS Management Console. Não é possível usar a AWS Command Line Interface (AWS CLI), a API do Amazon RDS nem os SDKs da AWS.

Ao criar um cluster de banco de dados de origem, o grupo de parâmetros escolhido já deve ter os valores de parâmetros necessários do cluster de banco de dados configurados. Não é possível criar um grupo de parâmetros posteriormente e depois associá-lo ao cluster. Para ter uma lista dos parâmetros necessários, consulte Etapa 1: Criar um grupo de parâmetros de cluster de banco de dados personalizado.

Após a criação de uma integração, não é possível modificá-la. Se você precisar alterar determinadas configurações, será necessário excluí-la e recriar a integração.

No momento, os clusters de banco de dados do Aurora PostgreSQL que são a origem de uma integração não realizam coleta de resíduos de dados de replicação lógica.

Todos os bancos de dados criados no cluster de banco de dados do Aurora PostgreSQL de origem devem usar a codificação UTF-8.

As integrações ETL zero com o Aurora PostgreSQL não são compatíveis com o seguinte: