エクスポート配信について

エクスポートクエリの結果のデータは、次の S3 ファイルパスに保存されます。

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/

パーティションはクエリ対象のテーブルに対応しています。CUR 2.0 の場合、パーティションは特定の CUR 2.0 エクスポートの「請求期間」に対応します。

prefix: エクスポートに割り当てる S3 ファイルプレフィックス。

export-name: エクスポートに割り当てる名前。

partition: パーティションは、1 つのテーブルを配信用に別々のテーブルに分割する方法を示しています。CUR 2.0 では、パーティションは BILLING_PERIOD=YYYY-MM のフォーマットで「請求期間」に対応します。例えば、2023 年 11 月のパーティションは 2023-11 です。

S3 ファイルパスの例を次に示します。

s3://my-data-export-s3-bucket/my-cur-files/business_group_a_cur/data/BILLING_PERIOD=2023-11

クエリの Manifest.json メタデータファイルは、次の S3 ファイルパスに保存されます。

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>/<export-name>-Manifest.json

Manifest.json ファイルは、エクスポートが更新されるたびに更新されます。エクスポートによって新しいパーティションが作成されるたびに、新しい Manifest.json ファイルが作成されます。CUR 2.0 では、新しい請求期間が始まると新しい Manifest.json ファイルが生成されます。

マニフェストファイルには、次の情報が含まれています。

Manifest.json は、すべてのエクスポートデータファイルが S3 に配信された後にのみ配信されます。

新しいエクスポートファイルを作成すると、エクスポートの更新がすべて保持されるため、S3 ストレージの使用量が増えます。以前のエクスポートファイルを上書きすると、各請求期間の更新の最新バージョンのみが保持されるため、S3 ストレージの使用量が少なくなります。

「新規作成」モードでは、エクスポートファイルは次の S3 パスに配信されます。

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<timestamp>-<execution-id>

timestamp はエクスポートが実行された日時です。execution-id は実行に割り当てられた一意の ID です。

「新規作成」では、エクスポートを実行するたびに 2 つの Manifest.json ファイルが配信されます。1 つは metadata/<partition>/<timestamp>-<execution-id> ディレクトリに保存され、もう 1 つは metadata/<partition> ディレクトリで上書きされます。metadata/<partition> ディレクトリ内のマニフェストは常に最新の更新内容を表し、そのデータを使用して最近更新されたエクスポートファイルの場所を識別します。

上書きは、同じパーティション (つまり請求期間) の更新にのみ適用されます。新しい請求期間が始まると、エクスポートは最新のパーティションまたは請求期間に基づいた名前で新しい S3 ディレクトリを作成し、そこに新しいエクスポートパーティションの配信を開始します。特定のパーティションのデータが更新されない限り、前のパーティションのエクスポートは上書きされません。

「上書き」モードでは、エクスポートファイルは次の S3 パスに配信されます。

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/

このファイルディレクトリ内のエクスポートファイルは、同じパーティション (つまり、請求期間) が配信されるたびに上書きされます。

エクスポートのサイズが十分になると、エクスポートファイルは複数の「チャンク」(個別の gzip/csv ファイルまたは Parquet ファイル) として配信されます。その月の間にエクスポートのサイズが減少した場合 (クエリの変更やデータの修正により)、エクスポートを更新するのに必要なチャンクが少なくなる可能性があります。この場合、データエクスポートは前回の更新で発生した余分なチャンクを空のデータで上書きします。

上書きの場合、エクスポートを実行するたびに 1 つの Manifest.json ファイルが配信されます。ファイルは metadata/<partition> ディレクトリに保存され、更新されるたびに上書きされます。

Parquet:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<timestamp>-<execution-id>/<export-name>-<chunk-number>.snappy.parquet

gzip/csv:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<timestamp>-<execution-id>/<export-name>-<chunk-number>.csv.gz

Parquet:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<export-name>-<chunk-number>.snappy.parquet

gzip/csv:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<export-name>-<chunk-number>.csv.gz

「新規作成」モードは Manifest.json を 2 つの場所に配信します。

1 つ目の場所は、エクスポートの特定の実行を表すフォルダ (timestamp および execution-id という名前) にあります。このマニフェストはその特定の実行に対応しています。ファイルパスは次のとおりです。

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>/<timestamp>-<execution-id>

2 つ目の場所は、すべての実行内容を含むパーティションフォルダです。このマニフェストは、最後にエクスポートを実行したときと同じファイルです。このマニフェストを読むと、最近のすべてのエクスポートファイルの正確なファイルパスを確認できます。ファイルパスは次のとおりです。

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>/Manifest.json

「上書き」モードでは Manifest.json を 1 つの場所に配信します。

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>

このディレクトリのマニフェストは、特定のパーティション (つまり、請求期間) が更新されるたびに上書きされます。