使用 Snowball Edge 裝置從 Amazon S3 匯出資料的任務 - AWS Snowball Edge 開發人員指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Snowball Edge 裝置從 Amazon S3 匯出資料的任務

注意

NOT 目前支援標籤和中繼資料,換句話說,從 S3 儲存貯體匯出物件時,所有標籤和中繼資料都會移除。

匯出任務的資料來源是一或多個 Amazon S3 儲存貯體。將任務部分的資料從 Amazon S3 移至 AWS Snowball Edge 裝置後,您可以下載任務報告。此報告會警示您任何造成傳輸至裝置作業失敗的物件。您可以在任務的成功和失敗日誌中找到詳細資訊。

您可以針對每個匯出任務匯出任何數量的物件,使用盡可能多的裝置來完成傳輸。匯出任務任務的每個 AWS Snowball Edge 裝置會逐一交付,後續裝置會在上一個任務部分進入傳輸中 AWS狀態後傳送給您。

當您使用 Amazon S3 轉接器或NFS掛載點,從裝置將物件複製到內部部署資料目的地時,這些物件會儲存為檔案。如果將物件複製到已保留檔案的位置,則任何同名的現有檔案會遭到覆寫。匯出任務類型也能執行本機儲存和運算功能。此功能使用檔案介面或 Amazon S3 轉接器來讀取和寫入資料,並根據在 AWS Snowball Edge 裝置上本機執行的 Amazon S3 PUT 物件API動作來觸發 Lambda 函數。

當 AWS 收到傳回的裝置時,我們會完全清除它,並遵循 NIST 800-88 標準。

重要

您要匯出至 Snow 裝置的資料必須位於 Amazon S3 中。 Amazon S3 Glacier 您計劃匯出至 Snow 裝置的任何資料都必須解凍或移至 S3 儲存類別,才能匯出。在建立 Snow 匯出任務之前執行此操作。

在確認已將整個任務的所有內容複製到內部部署資料目的地之前,請勿變更、更新或刪除匯出的 Amazon S3 物件。

建立匯出任務時,您可以匯出整個 Amazon S3 儲存貯體或特定範圍的物件金鑰。

將資料匯出至 Snowball Edge 裝置時使用 Amazon S3 物件金鑰

當您在 中或使用任務管理 建立匯出AWS Snow 系列管理主控台任務時API,您可以匯出整個 Amazon S3 儲存貯體或特定範圍的物件金鑰。物件金鑰名稱專門識別儲存貯體中的物件。如果匯出的是範圍,則您可以定義範圍的長度,方法為提供包含範圍的開頭、範圍的結尾或兩者。

範圍為 UTF-8 個二進位排序。UTF-8 二進位資料會以下列方式排序:

  • 數字 0–9 位於大寫和小寫英文字元前面。

  • 大寫英文字元出現在所有小寫英文字元之前。

  • 針對大寫英文字元和數字排序時,小寫英文字元最後出現。

  • 特殊字元是在其他字元集之間排序。

如需 UTF-8 的詳細資訊,請參閱 UTFWikipedia 上的 -8

將資料匯出至 Snowball Edge 裝置時使用 Amazon S3 物件金鑰的範例

假設您的儲存貯體包含下列物件和字首,並依 UTF-8 二進位順序排序:

  • 01

  • Aardvark

  • Aardwolf

  • Aasvogel/apple

  • Aasvogel/arrow/object1

  • Aasvogel/arrow/object2

  • Aasvogel/banana

  • Aasvogel/banker/object1

  • Aasvogel/banker/object2

  • Aasvogel/cherry

  • Banana

  • Car

指定範圍開始 指定的範圍結束 將匯出範圍內的物件
(無) (無) 儲存貯體中的所有物件
(無) Aasvogel

01

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

(無) Aasvogel/banana

01

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel (無)

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

Banana

Car

Aardwolf (無)

Aardwolf

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

Banana

Car

Aar (無)

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

Banana

Car

car (無)

不會匯出任何物件,而且您在嘗試建立任務時會得到錯誤訊息。請注意,車輛會根據 UTF-8 個二進位值,在車輛下方排序。

Aar Aarrr

Aardvark

Aardwolf

Aasvogel/arrow

Aasvogel/arrox

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/apple Aasvogel/banana

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/apple Aasvogel/banker

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/apple Aasvogel/cherry

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

假設您有這三個儲存貯體,並想要從 資料夾複製所有物件2.

  • s3://bucket/folder1/

  • s3://bucket/folder2/

  • s3://bucket/folder3/

指定範圍開始 指定的範圍結束 將匯出範圍內的物件
資料夾2/ 資料夾2/ 儲存貯體資料夾中的所有物件2.

從 Amazon S3 匯出資料至 Snowball Edge 裝置的任務的最佳實務

  • 確定資料位於 Amazon S3 中,在訂購任務之前批次小型檔案

  • 如果您的儲存貯體中有數百萬個物件,請確保在匯出任務定義中指定金鑰範圍

  • 更新物件索引鍵以移除名稱中的斜線,因為名稱中具有尾斜線的物件 (/ 或 \) 不會轉移到 Snowball Edge

  • 對於 S3 儲存貯體,物件長度限制為 255 個字元。

  • 對於已啟用版本的 S3 儲存貯體,只會匯出目前版本的物件。

  • 刪除標記不會匯出。