Snowball Edge デバイスを使用して Amazon S3 からデータをエクスポートするジョブ
注記
タグとメタデータは現在サポートされていないため、S3 バケットからオブジェクトをエクスポートすると、すべてのタグとメタデータが削除されます。
エクスポートジョブのデータソースは、1 つまたは複数の Amazon S3 バケットです。1 つのジョブパートのデータが Amazon S3 から AWS Snowball Edge デバイスに移動されると、ジョブレポートをダウンロードできます。デバイスへの転送が失敗したオブジェクトがあれば、このレポートで警告されます。ジョブの成功と失敗のログで詳細情報を参照できます。
各エクスポートジョブで、転送の完了に必要な数のデバイスを使用して、任意の数のオブジェクトをエクスポートできます。エクスポートジョブのジョブパートに必要な AWS Snowball Edge デバイスは 1 つずつ配送されます。後続のデバイスは、前のジョブパートが [AWS へ配送中] ステータスに変わると出荷されます。
Amazon S3 アダプターまたは NFS マウントポイントを使用してデバイスからオンプレミスのデータ送信先にオブジェクトをコピーすると、これらのオブジェクトはファイルとして保存されます。すでにファイルのある場所にオブジェクトをコピーした場合、同じ名前の既存のファイルは上書きされます。エクスポートジョブタイプには、ローカルストレージやコンピューティング機能もあります。この機能は、データの読み書きにファイルインターフェイスまたは Amazon S3 アダプターを使用し、AWS Snowball Edge デバイスでローカルに実行されている Amazon S3 PUT オブジェクトの API アクションに基づいて Lambda 関数をトリガーします。
AWS は、返却されたデバイスを受け取ると、NIST 800-88 基準に従ってそれを完全に消去します。
重要
Snow デバイスにエクスポートするデータは Amazon S3 に格納されている必要があります。Amazon S3 Glacier にある、Snow デバイスにエクスポート予定のデータはすべて、エクスポートする前に解凍するか、S3 ストレージクラスに移動する必要があります。これは Snow エクスポートジョブを作成する前に実行してください。
すべてのジョブのすべてのコンテンツがオンプレミスのデータ送信先にコピーされたことが確認できるまで、エクスポートされた Amazon S3 オブジェクトを変更、更新、削除しないでください。
エクスポートジョブを作成すると、Amazon S3 バケット全体または特定の範囲のオブジェクトキーをエクスポートできます。
Snowball Edge デバイスにデータをエクスポートする際の Amazon S3 オブジェクトキーの使用
AWS Snow ファミリーマネジメントコンソール
範囲はソートされた UTF-8 バイナリです。UTF-8 バイナリデータは次の方式でソートされます。
-
数字 0～9 は大文字と小文字の英字の前に来ます。
-
大文字の英字はすべての小文字の英字の前に来ます。
-
小文字の英字は、大文字英字と数字よりも後になります。
-
特殊文字は、他の文字セットの間にソートされます。
UTF-8 の仕様の詳細については、Wikipedia の UTF-8
Snowball Edge デバイスにデータをエクスポートする際に Amazon S3 オブジェクトキーを使用する例
UTF-8 バイナリ順にソートされた、以下のオブジェクトとプレフィックスを含むバケットがあるとします。
-
01
-
Aardvark
-
Aardwolf
-
Aasvogel/apple
-
Aasvogel/arrow/object1
-
Aasvogel/arrow/object2
-
Aasvogel/banana
-
Aasvogel/banker/object1
-
Aasvogel/banker/object2
-
Aasvogel/cherry
-
Banana
-
Car
| 指定された範囲の開始 | 指定された範囲の終了 | エクスポートされるオブジェクトの範囲 |
|---|---|---|
| (none) | (none) | バケット内のすべてのオブジェクト |
| (none) | Aasvogel |
01 Aardvark Aardwolf Aasvogel/apple Aasvogel/arrow/object1 Aasvogel/arrow/object2 Aasvogel/banana Aasvogel/banker/object1 Aasvogel/banker/object2 Aasvogel/cherry |
| (none) | Aasvogel/banana |
01 Aardvark Aardwolf Aasvogel/apple Aasvogel/arrow/object1 Aasvogel/arrow/object2 Aasvogel/banana |
| Aasvogel | (none) |
Aasvogel/apple Aasvogel/arrow/object1 Aasvogel/arrow/object2 Aasvogel/banana Aasvogel/banker/object1 Aasvogel/banker/object2 Aasvogel/cherry Banana Car |
| Aardwolf | (none) | Aardwolf Aasvogel/apple Aasvogel/arrow/object1 Aasvogel/arrow/object2 Aasvogel/banana Aasvogel/banker/object1 Aasvogel/banker/object2 Aasvogel/cherry Banana Car |
| Aar | (none) | Aardvark Aardwolf Aasvogel/apple Aasvogel/arrow/object1 Aasvogel/arrow/object2 Aasvogel/banana Aasvogel/banker/object1 Aasvogel/banker/object2 Aasvogel/cherry Banana Car |
| car | (none) | オブジェクトは何もエクスポートされません。ジョブを作成しようとするとエラーメッセージが返されます。UTF-8 バイナリ値に従って、car は Car の下にソートされることに注意してください。 |
| Aar | Aarrr | Aardvark Aardwolf |
|
Aasvogel/arrow |
Aasvogel/arrox |
Aasvogel/arrow/object1 Aasvogel/arrow/object2 |
| Aasvogel/apple | Aasvogel/banana |
Aasvogel/apple Aasvogel/arrow/object1 Aasvogel/arrow/object2 Aasvogel/banana |
| Aasvogel/apple | Aasvogel/banker |
Aasvogel/apple Aasvogel/arrow/object1 Aasvogel/arrow/object2 Aasvogel/banana Aasvogel/banker/object1 Aasvogel/banker/object2 |
| Aasvogel/apple | Aasvogel/cherry |
Aasvogel/apple Aasvogel/arrow/object1 Aasvogel/arrow/object2 Aasvogel/banana Aasvogel/banker/object1 Aasvogel/banker/object2 Aasvogel/cherry |
これら 3 つのバケットがあり、folder2 からすべてのオブジェクトをコピーするとします。
s3://bucket/folder1/
s3://bucket/folder2/
s3://bucket/folder3/
| 指定された範囲の開始 | 指定された範囲の終了 | エクスポートされるオブジェクトの範囲 |
|---|---|---|
| folder2/ | folder2/ | バケット folder2 内のすべてのオブジェクト |
Amazon S3 から Snowball Edge デバイスにデータをエクスポートするジョブのベストプラクティス
-
データが Amazon S3 にあることを確認し、ジョブを注文する前に小さなファイルをバッチ処理します。
-
バケットに何百万ものオブジェクトがある場合は、エクスポートジョブの定義にキー範囲が指定されていることを確認してください。
-
データ名の末尾にスラッシュ (/ または \) の付いたオブジェクトは Snowball Edge に転送されないため、スラッシュを削除してオブジェクトキー名を更新します。
-
S3 バケットの場合、オブジェクトの長さの上限は 255 文字です。
-
バージョン対応の S3 バケットでは、現在のバージョンのオブジェクトのみがエクスポートされます。
-
削除マーカーはエクスポートされません。
