As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Replique as alterações do banco de dados nas tabelas Apache Iceberg com o Amazon Data Firehose
nota
O Firehose oferece suporte ao banco de dados como fonte em todas as regiões AWS GovCloud (US) Regions, exceto Regiões da AWSChina e Ásia-Pacífico (Malásia). Esse recurso está em versão prévia e está sujeito a alterações. Não o use para suas cargas de trabalho de produção.
As organizações usam bancos de dados relacionais para armazenar e recuperar dados transacionais que são otimizados para interagir rapidamente com uma ou algumas linhas de dados por vez. Eles não são otimizados para consultar grandes conjuntos de dados agregados. As organizações transferem dados transacionais de bancos de dados relacionais para armazenamentos de dados analíticos, como lagos de dados, data warehouses e outras ferramentas para casos de uso de análise e aprendizado de máquina. Para manter os armazenamentos de dados analíticos sincronizados com bancos de dados relacionais, é usado um padrão de design chamado change data capture (CDC) que permite capturar todas as alterações nos bancos de dados em tempo real. Quando os dados são alterados por meio INSERT de ou DELETE em um banco de dados de origem, essas CDC alterações devem ser transmitidas continuamente sem afetar o desempenho dos bancos de dados. UPDATE
O Firehose fornece uma easy-to-use end-to-end solução simples para replicar alterações dos SQL bancos de dados My SQL e Postgre em tabelas Apache Iceberg. Com esse recurso, o Firehose permite selecionar bancos de dados, tabelas e colunas específicos que você deseja que o Firehose capture em eventos. CDC Se você ainda não tem Iceberg Tables, você pode optar pelo Firehose para criar Iceberg Tables. O Firehose cria bancos de dados e tabelas usando o mesmo esquema das tabelas do seu banco de dados relacional. Depois que o stream é criado, o Firehose faz uma cópia inicial dos dados nas tabelas e grava no Apache Iceberg Tables. Quando a cópia inicial estiver concluída, o Firehose inicia a captura contínua das CDC alterações em tempo real em seus bancos de dados e as replica nas tabelas Apache Iceberg. Se você optar pela evolução do esquema, o Firehose evolui seu esquema do Iceberg Table com base nas alterações do esquema em seus bancos de dados relacionais.
