Fournissez des données aux tables Apache Iceberg avec Amazon Data Firehose

Apache Iceberg est un format de table open source performant permettant d'effectuer des analyses de mégadonnées. Apache Iceberg apporte la fiabilité et la simplicité des SQL tables aux lacs de données Amazon S3 et permet aux moteurs d'analyse open source tels que Spark, Flink, Trino, Hive et Impala de travailler simultanément avec les mêmes données. Pour plus d'informations sur Apache Iceberg, consultezhttps://iceberg.apache.org/.

Vous pouvez utiliser Firehose pour transmettre directement des données de streaming aux tables Apache Iceberg dans Amazon S3. Grâce à cette fonctionnalité, vous pouvez acheminer les enregistrements d'un seul flux vers différentes tables Apache Iceberg et appliquer automatiquement des opérations d'insertion, de mise à jour et de suppression aux enregistrements des tables Apache Iceberg. Firehose garantit la livraison en une seule fois à Iceberg Tables. Cette fonctionnalité nécessite l'utilisation du AWS Glue Data Catalog.

Firehose peut également fournir directement des données de streaming vers Amazon S3 Tables. Les tables Amazon S3 fournissent un stockage optimisé pour les charges de travail analytiques à grande échelle, avec des fonctionnalités qui améliorent continuellement les performances des requêtes et réduisent les coûts de stockage des données tabulaires. Grâce à la prise en charge intégrée d'Apache Iceberg, vous pouvez interroger des données tabulaires dans Amazon S3 à l'aide de moteurs de requête populaires tels qu'Amazon Athena, Amazon Redshift et Apache Spark. Pour plus d'informations sur les tables Amazon S3, consultez la section Tables Amazon S3. L'intégration de Firehose à Amazon S3 Tables est en préversion dans toutes les régions où Amazon S3 Tables est disponible. Ne l'utilisez pas pour vos charges de travail de production.