Entrega de dados às tabelas do Apache Iceberg com o Amazon Data Firehose

O Apache Iceberg é um formato de tabela de código aberto de alta performance para realizar análises de big data. O Apache Iceberg traz a confiabilidade e a simplicidade das tabelas SQL para os data lakes do Amazon S3 e possibilita que mecanismos de análise de código aberto como Spark, Flink, Trino, Hive e Impala trabalhem com os mesmos dados simultaneamente. Para obter mais informações sobre o Apache Iceberg, consulte https://iceberg.apache.org/.

Você pode usar o Firehose para entregar dados de streaming às tabelas Apache Iceberg no Amazon S3. Com esse atributo, é possível encaminhar registros de um único fluxo para diferentes tabelas do Apache Iceberg e aplicar automaticamente operações de inserção, atualização e exclusão aos registros nas tabelas do Apache Iceberg. O Firehose fornece exatamente uma entrega para a Iceberg Tables. Esse atributo requer o uso do AWS Glue Data Catalog.

O Firehose também pode entregar dados de streaming para as tabelas do Amazon S3. As tabelas do Amazon S3 fornecem armazenamento otimizado para cargas de trabalho de análise em grande escala, com recursos que melhoram continuamente o desempenho das consultas e reduzem os custos de armazenamento de dados tabulares. Com suporte integrado ao Apache Iceberg, você pode consultar dados tabulares no Amazon S3 com mecanismos de consulta populares, incluindo Amazon Athena, Amazon Redshift e Apache Spark. Para obter mais informações sobre as tabelas do Amazon S3, consulte Tabelas do Amazon S3. A integração do Firehose com o Amazon S3 Tables está em pré-visualização nas regiões Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia) e Oeste dos EUA (Oregon). Não o use para suas cargas de trabalho de produção.

Para tabelas do Amazon S3, o Firehose não suporta a criação automática de tabelas. Você deve criar tabelas do S3 antes de criar um stream do Firehose.