Iceberg テーブル圧縮を使用する - Amazon Athena

Iceberg テーブル圧縮を使用する

Athena の Iceberg テーブルの圧縮オプションは、エンジンバージョンとファイル形式によって異なります。

Athena エンジンバージョン 3 での Iceberg 圧縮サポート

次の表に、Apache Iceberg 内のストレージファイル形式に対して Athena エンジンバージョン 3 でサポートされる、圧縮形式の概要を示します。セル内の「はい」または「いいえ」は、特に記載がない限り、読み込みオペレーションと書き込みオペレーションに等しく適用されます。このテーブルでは、CREATE TABLE、CTAS、INSERT INTO は書き込みオペレーションとみなされます。Athena エンジンバージョン 3 における Iceberg のデフォルトのストレージ形式は Parquet です。Athena エンジンバージョン 3 における Iceberg のデフォルトの圧縮形式は ZSTD です。Athena での ZSTD 圧縮レベルの使用の詳細については、「ZSTD 圧縮レベルを使用する」を参照してください。

Avro ORC Parquet (デフォルト)
BZIP2 不可 いいえ なし
GZIP 可能 いいえ 可能
LZ4 不可 はい 不可
SNAPPY あり はい 可能
ZLIB 不可 はい 不可
ZSTD あり 可能 はい (デフォルト)
なし はい (None または Deflate を指定) 可能 はい (None または Uncompressed を指定)

Athena エンジンバージョン 2 での Iceberg 圧縮サポート

次の表に、Apache Iceberg 向け Athena エンジンバージョン 2 でサポートされる、圧縮形式の概要を示します。セル内の「はい」または「いいえ」は、特に記載がない限り、読み込みオペレーションと書き込みオペレーションに等しく適用されます。このテーブルでは、CREATE TABLE、CTAS、INSERT INTO は書き込みオペレーションとみなされます。Athena エンジンバージョン 2 における Iceberg のデフォルトのストレージ形式は Parquet です。Athena エンジンバージョン 2 における Iceberg のデフォルトの圧縮形式は GZIP です。

Avro

(サポート外)

ORC

(サポート外)

Parquet (デフォルト)
BZIP2 不可 いいえ なし
GZIP 不可 なし はい (デフォルト)
LZ4 不可 いいえ なし
SNAPPY 不可 いいえ 可能
ZLIB 不可 いいえ なし
ZSTD 不可 いいえ 可能
なし 不可 いいえ 可能