孤立ファイルの削除

AWS Glue Data Catalog では、Iceberg テーブルから孤立ファイルを削除できます。孤立ファイルとは、Iceberg テーブルメタデータによって追跡されなったものの、Amazon S3 データソースにまだ存在するデータファイルまたはメタデータファイルです。これらの孤立ファイルは、圧縮、パーティションの削除、テーブルの書き換えなどのオペレーションにより、時間の経過と共に蓄積され、不要なストレージ領域を占める可能性があります。

AWS Glue の孤立ファイル削除オプティマイザーは、テーブルメタデータと実際のデータファイルをスキャンして孤立ファイルを識別し、それらを削除してストレージ領域を再利用します。

データカタログで孤立ファイル削除テーブルオプティマイザーを作成することで、孤立ファイルの削除を開始できます。