Amazon Data Firehose を使用して Apache Iceberg テーブルにデータを配信する

Apache Iceberg は、ビッグデータ分析を実行するための高性能オープンソーステーブル形式です。Apache Iceberg は、Amazon S3 データレイクにSQLテーブルの信頼性とシンプルさを提供し、Spark、Flink、Trino、Hive、Impala などのオープンソースの分析エンジンが同じデータを同時に操作できるようにします。Apache Iceberg の詳細については、「https://iceberg.apache.org/」を参照してください。

Firehose を使用して、Amazon S3 の Apache Iceberg テーブルにストリーミングデータを直接配信できます。この機能を使用すると、単一のストリームから異なる Apache Iceberg テーブルにレコードをルーティングし、Apache Iceberg テーブルのレコードに対して、挿入、更新、削除オペレーションを自動的に適用できます。Firehose は、Iceberg テーブルへの正確に 1 回限りの配信を保証します。この機能を使用するには、 AWS Glue Data Catalogを使用する必要があります。

Firehose は、ストリーミングデータを Amazon S3 テーブルに直接配信することもできます。Amazon S3 テーブルは、大規模な分析ワークロードに最適化されたストレージを提供します。また、クエリのパフォーマンスを継続的に改善し、表形式のデータのストレージコストを削減する機能を備えています。Apache Iceberg のサポートが組み込まれているため、Amazon S3 の表形式データをクエリできます。 Amazon Athena Amazon S3 テーブルの詳細については、Amazon S3テーブル」を参照してください。Firehose と Amazon S3 テーブルの統合は、Amazon S3 テーブルが利用可能なすべてのリージョンでプレビューされています。本番稼働用ワークロードには使用しないでください。