Fournissez des données aux tables Apache Iceberg avec Amazon Data Firehose

Apache Iceberg est un format de table open source performant permettant d'effectuer des analyses de mégadonnées. Apache Iceberg apporte la fiabilité et la simplicité des tables SQL aux lacs de données Amazon S3 et permet aux moteurs d'analyse open source tels que Spark, Flink, Trino, Hive et Impala de travailler simultanément avec les mêmes données. Pour plus d'informations sur Apache Iceberg, consultezhttps://iceberg.apache.org/.

Vous pouvez utiliser Firehose pour transmettre des données de streaming aux tables Apache Iceberg dans Amazon S3. Grâce à cette fonctionnalité, vous pouvez acheminer les enregistrements d'un seul flux vers différentes tables Apache Iceberg et appliquer automatiquement des opérations d'insertion, de mise à jour et de suppression aux enregistrements des tables Apache Iceberg. Firehose livre exactement une fois à Iceberg Tables. Cette fonctionnalité nécessite l'utilisation du AWS Glue Data Catalog.

Firehose peut également fournir des données de streaming vers Amazon S3 Tables. Les tables Amazon S3 fournissent un stockage optimisé pour les charges de travail analytiques à grande échelle, avec des fonctionnalités qui améliorent continuellement les performances des requêtes et réduisent les coûts de stockage des données tabulaires. Grâce à la prise en charge intégrée d'Apache Iceberg, vous pouvez interroger des données tabulaires dans Amazon S3 à l'aide de moteurs de requête populaires tels qu'Amazon Athena, Amazon Redshift et Apache Spark. Pour plus d'informations sur les tables Amazon S3, consultez la section Tables Amazon S3. L'intégration de Firehose à Amazon S3 Tables est en version préliminaire dans les régions USA Est (Ohio), USA Est (Virginie du Nord) et USA Ouest (Oregon). Ne l'utilisez pas pour vos charges de travail de production.

Pour Amazon S3 Tables, Firehose ne prend pas en charge la création automatique de tables. Vous devez créer des tables S3 avant de créer un flux Firehose.