使用 Snow 系列裝置的先決條件 - AWS Snowball Edge 開發者指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Snow 系列裝置的先決條件

在您開始使用 Snow Family 裝置之前,如果您沒有 AWS 帳戶,則需要註冊一個帳戶。我們也建議您學習如何設定資料和運算執行個體,以便與 Snow Family 裝置搭配使用。

AWS Snowball Edge 是特定於區域的服務。因此,在您計劃工作之前,請確保該服務在您的 AWS 區域. 確保您的位置和 Amazon S3 儲存貯體位於相同 AWS 區域 或相同的國家/地區,因為這會影響您訂購裝置的能力。

若要在 Snow 系列裝置上使用 Amazon S3 相容儲存,並搭配運算最佳化裝置進行本機邊緣運算和儲存任務,您需要在訂購時在一或多個裝置上佈建 S3 容量。Snow 系列裝置上的 Amazon S3 相容儲存體支援本機儲存貯體管理,因此您可以在收到一或多個裝置後,在裝置或叢集上建立 S3 儲存貯體。

作為訂單流程的一部分,您可以建立 AWS Identity and Access Management (IAM) 角色和 AWS Key Management Service (AWS KMS) 金鑰。KMS 金鑰可用來加密工作的解除鎖定代碼。如需建立 IAM 角色和 KMS 金鑰的詳細資訊,請參閱建立訂購 Snow Family 裝置的任務。

注意

在亞太地區(孟買) AWS 區域 服務由 Amazon 在互聯網服務私人有限公司(AISPL)提供。如需在亞太地區 (孟買) 註冊 Amazon Web Services 的相關資訊 AWS 區域,請參閱註冊 AISP L。

註冊一個 AWS 帳戶

如果您沒有 AWS 帳戶,請完成以下步驟來建立一個。

若要註冊成為 AWS 帳戶
  1. 開啟 https://portal.aws.amazon.com/billing/signup

  2. 請遵循線上指示進行。

    部分註冊程序需接收來電,並在電話鍵盤輸入驗證碼。

    當您註冊一個時 AWS 帳戶,將創建AWS 帳戶根使用者一個。根使用者有權存取該帳戶中的所有 AWS 服務 和資源。安全性最佳做法是將管理存取權指派給使用者,並僅使用 root 使用者來執行需要 root 使用者存取權的工作。

AWS 註冊過程完成後,會向您發送確認電子郵件。您可以隨時登錄 https://aws.amazon.com/ 並選擇 我的帳戶,以檢視您目前的帳戶活動並管理帳戶。

建立具有管理權限的使用者

註冊後,請保護您的 AWS 帳戶 AWS 帳戶根使用者 AWS IAM Identity Center、啟用和建立系統管理使用者,這樣您就不會將 root 使用者用於日常工作。

保護您的 AWS 帳戶根使用者
  1. 選擇 Root 使用者並輸入您的 AWS 帳戶 電子郵件地址,以帳戶擁有者身分登入。AWS Management Console在下一頁中,輸入您的密碼。

    如需使用根使用者登入的說明,請參閱 AWS 登入 使用者指南中的以根使用者身分登入

  2. 若要在您的根使用者帳戶上啟用多重要素驗證 (MFA)。

    如需指示,請參閱《IAM 使用者指南》的為 AWS 帳戶 根使用者啟用虛擬 MFA 裝置 (主控台)

建立具有管理權限的使用者
  1. 啟用 IAM Identity Center。

    如需指示,請參閱 AWS IAM Identity Center 使用者指南中的啟用 AWS IAM Identity Center

  2. 在 IAM 身分中心中,將管理存取權授予使用者。

    若要取得有關使用 IAM Identity Center 目錄 做為身分識別來源的自學課程,請參閱《使用指南》 IAM Identity Center 目錄中的「以預設值設定使用AWS IAM Identity Center 者存取」。

以具有管理權限的使用者身分登入
指派存取權給其他使用者
  1. 在 IAM 身分中心中,建立遵循套用最低權限許可的最佳做法的權限集。

    如需指示,請參閱《AWS IAM Identity Center 使用指南》中的「建立權限集」。

  2. 將使用者指派給群組,然後將單一登入存取權指派給群組。

    如需指示,請參閱《AWS IAM Identity Center 使用指南》中的「新增群組」。

關於當地環境的問題

瞭解您的資料集以及本機環境的設定方式,將有助於完成資料傳輸。在下訂單之前,請考慮以下幾點。

您要傳輸哪些資料?

傳輸大量小型檔案無法與 AWS Snowball Edge 搭配使用。這是因為 Snowball Edge 會加密每個個別物件。小型檔案包含大小小於 1 MB 的檔案。我們建議您先將它們拉上,然後再將它們傳輸到 AWS Snowball Edge 設備上。我們也建議您在每個目錄中不要超過 500,000 個檔案或目錄。

數據在傳輸過程中會被訪問嗎?

重要的是要有一個靜態數據集(也就是說,沒有用戶或系統在傳輸過程中訪問數據)。否則,檔案傳輸可能會因為總和檢查碼不符而失敗。文件將不會被傳輸,文件將被標記為Failed

若要避免資料損毀,請勿在傳輸資料時中斷 AWS Snowball Edge 裝置的連線或變更其網路設定。檔案於正在寫入裝置時,應處於靜態狀態。在寫入裝置時修改的檔案可能會導致讀取/寫入衝突。

網路是否支援 AWS Snowball 資料傳輸?

Snowball 邊緣支援 RJ45SFP 或 QSFP + 網路介面卡。確認您的交換器是千兆交換器。根據交換機的品牌,它可能會說千兆10/100/ 1000。Snowball 邊緣裝置不支援百萬位元交換器或 10/100 交換器。

使用包含特殊字元的檔案名稱

請務必注意,如果物件的名稱包含特殊字元,您可能會遇到錯誤。雖然 Amazon S3 允許使用特殊字元,但我們強烈建議您避免使用下列字元:

  • 反斜線 ("\")

  • 左大括弧 ("{")

  • 右大括弧 ("}")

  • 左方括號 ("[")

  • 右方括號 ("]")

  • 「小於」符號 ("<")

  • 「大於」符號 (">")

  • 無法列印的 ASCII 字元 (128 - 255 十進位字元)

  • 插入號 ("^")

  • 百分比字元 ("%")

  • 重音符號/反引號 ("`")

  • 問號

  • 波狀符號 ("~")

  • 井字號 ("#")

  • 垂直分隔號/縱線字元 ("|")

如果您的檔案在物件名稱中包含一或多個這些字元,請在將物件複製到 AWS Snowball Edge 裝置之前重新命名物件。複製個別物件或執行遞迴命令時,檔案名稱中有空格的 Windows 使用者應該小心。在指令中,用引號括住名稱中包含空格的物件名稱。以下是此類檔案的範例。

作業系統 文件名稱:測試 file.txt

Windows

“C:\Users\<username>\desktop\test file.txt”

iOS

/Users/<username>/test\ file.txt

Linux

/home/<username>/test\ file.txt

注意

傳輸的唯一物件中繼資料是物件名稱和大小。

Amazon S3 加密 AWS KMS

匯入或匯出資料時,您可以使用預設 AWS 的受管加密金鑰或客戶管理加密金鑰來保護您的資料。

搭配 AWS KMS 受管金鑰使用 Amazon S3 預設儲存貯體加密

若要啟用 AWS 受管理式加密 AWS KMS
  1. 前往 https://console.aws.amazon.com/s3/ 開啟的 Amazon Simple Storage Service (Amazon S3) 主控台。

  2. 選擇您要加密的 Amazon S3 儲存貯體。

  3. 在右側顯示的精靈中,選擇 [內容]。

  4. 在 [預設加密] 方塊中,選擇 [用] (此選項顯示為灰色) 以啟用預設加密。

  5. 選擇 AWS-KMS 做為加密方法,然後選擇您要使用的 KMS 金鑰。此金鑰可用來加密 PUT 到值區中的物件。

  6. 選擇儲存

建立 Snowball Edge 工作之後,並在匯入資料之前,將陳述式新增至現有的 IAM 角色政策。這是您在排序過程中建立的角色。視工作類型而定,預設角色名稱看起來類似於Snowball-import-s3-only-roleSnowball-export-s3-only-role

以下是此類陳述式的範例。

用於匯入資料

如果您使用伺服器端加密搭配 AWS KMS 受管金鑰 (SSE-KMS) 來加密與匯入任務相關聯的 Amazon S3 儲存貯體,則還需要將下列陳述式新增至 IAM 角色。

範例 Snowball 匯入 IAM 角色範例
{ "Effect": "Allow", "Action": [ "kms: GenerateDataKey", "kms: Decrypt" ], "Resource":"arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

用於匯出資料

如果您使用伺服器端加密搭配 AWS KMS 受管金鑰來加密與匯出任務相關聯的 Amazon S3 儲存貯體,則還必須將下列陳述式新增至 IAM 角色。

範例 Snowball 匯出 IAM 角色
{ "Effect": "Allow", "Action": [ "kms:Decrypt" ], "Resource":"arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

搭配 AWS KMS 客戶金鑰使用 S3 預設儲存貯體加密

您可以將預設的 Amazon S3 儲存貯體加密與自己的 KMS 金鑰搭配使用,以保護要匯入和匯出的資料。

用於匯入資料

若要啟用客戶管理的加密 AWS KMS
  1. 登入 AWS Management Console 並開啟 AWS Key Management Service (AWS KMS) 主控台,網址為 https://console.aws.amazon.com/kms

  2. 若要變更 AWS 區域,請使用頁面右上角的「地區」選取器。

  3. 在左側導覽窗格中,選擇 [客戶管理的金鑰],然後選擇與您要使用的值區相關聯的 KMS 金鑰。

  4. 展開金鑰原則 (如果尚未展開)。

  5. 在「金鑰使用者」區段中,選擇「新增」,然後搜尋 IAM 角色。選擇 IAM 角色,然後選擇 [新增]。

  6. 或者,您可以選擇 [切換至原則] 檢視來顯示金鑰原則文件,並將陳述式新增至金鑰原則。以下是策略的範例。

範例 AWS KMS 客戶管理金鑰的政策
{ "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/snowball-import-s3-only-role" ] }, "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": "*" }

將此政策新增至 AWS KMS 客戶受管金鑰後,還需要更新與 Snowball 任務相關聯的 IAM 角色。依預設,角色為snowball-import-s3-only-role

範例 的 Snowball 匯入 IAM 角色
{ "Effect": "Allow", "Action": [ "kms: GenerateDataKey", "kms: Decrypt" ], "Resource": "arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

如需詳細資訊,請參閱 使用以身分為基礎的政策 (IAM 政策) AWS Snowball

正在使用的 KMS 金鑰如下所示:

“Resource”:“arn:aws:kms:region:AccoundID:key/*”

用於匯出資料

範例 AWS KMS 客戶管理金鑰的政策
{ "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/snowball-import-s3-only-role" ] }, "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": "*" }

將此政策新增至 AWS KMS 客戶受管金鑰後,還需要更新與 Snowball 任務相關聯的 IAM 角色。依預設,角色如下所示:

snowball-export-s3-only-role

範例 的 Snowball 匯出 IAM 角色
{ "Effect": "Allow", "Action": [ "kms: GenerateDataKey", "kms: Decrypt" ], "Resource": "arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

將此政策新增至 AWS KMS 客戶受管金鑰後,還需要更新與 Snowball 任務相關聯的 IAM 角色。依預設,角色為snowball-export-s3-only-role

使用伺服器端加密的 Amazon S3 加密

AWS Snowball 使用 Amazon S3 受管加密金鑰 (SSE-S3) 支援伺服器端加密。伺服器端加密是為了保護靜態資料,而 SSE-S3 具有強大的多重要素加密功能,可保護您在 Amazon S3 中的靜態資料。如需 SSE-S3 的詳細資訊,請參閱 Amazon 簡單儲存服務使用者指南中的使用伺服器端加密搭配 Amazon S3 受管加密金鑰 (SSE-S3) 來保護資料

注意

目前, AWS Snowball 不支援使用客戶提供的金鑰 (SSE-C) 進行伺服器端加密。不過,您可能想要使用 SSE 類型來保護匯入的資料,或者您可能已使用這個選項來保護您要匯出的資料。在這些情況下,請謹記下列事項:

  • 匯入 — 如果您想要使用 SSE-C 加密已匯入 S3 的物件,請將這些物件複製到另一個已建立 SSE-KMS 或 SSE-S3 加密的儲存貯體,作為該儲存貯體的儲存貯體政策的一部分。

  • 匯出 — 如果您要匯出使用 SSE-C 加密的物件,請先將這些物件複製到另一個沒有伺服器端加密,或在該儲存貯體的儲存貯體政策中指定 SSE-KMS 或 SSE-S3 的值區。

在 Snow 系列裝置上使用 Amazon S3 介面卡進行匯入和匯出任務的先決條件

當您使用裝置將資料從現場部署資料來源移至雲端或從雲端移至現場部署資料儲存時,您可以在 Snow Family 裝置上使用 S3 配接器。如需詳細資訊,請參閱 使用 Amazon S3 適配器傳輸檔案進行資料遷移

與任務相關聯的 Amazon S3 儲存貯體必須使用 Amazon S3 標準儲存類別。首次建立任務前,請注意下列資訊。

對於將資料匯入 Amazon S3 的任務,請遵循下列步驟:

  • 確認要傳輸的檔案和資料夾是根據 Amazon S3 的物件金鑰命名準則來命名。名稱不符合這些準則的任何檔案或資料夾都不會匯入 Amazon S3。

  • 規劃您要匯入到 Amazon S3 的資料。如需詳細資訊,請參閱 規劃您的大型轉賬

從 Amazon S3 匯出資料之前,請遵循下列步驟:

  • 了解在您建立任務時將匯出的資料。如需詳細資訊,請參閱 使用匯出範圍

  • 對於檔案名稱中有冒號 (:) 的任何檔案,請在建立匯出任務以取得這些檔案之前,先在 Amazon S3 中變更檔案名稱。無法將檔案名稱中有冒號的檔案匯出至 Microsoft Windows Server。

在 Snow 系列裝置上使用 Amazon S3 相容儲存裝置的先決條件

當您在節點的裝置上存放資料,並將資料用於本機運算操作時,您可以在 Snow 系列裝置上使用 Amazon S3 相容儲存。傳回裝置時,不會將用於本機運算操作的資料匯入 Amazon S3。

為使用 Amazon S3 相容儲存的本機運算和儲存訂購 Snow 裝置時,請記住以下事項。

  • 訂購裝置時,您將佈建 Amazon S3 儲存容量。因此,在訂購設備之前,請考慮您的存儲需求。

  • 您可以在收到裝置之後在裝置上建立 Amazon S3 儲存貯體,而不是在訂購 Snow 系列裝置時建立儲存貯體。

  • 您需要下載最新版本的 AWS CLI (v2.11.15 或更高版本)、Snowball Edge 用戶端,或將其安裝在您的電腦上,才能在 Snow 系列裝置上使用 Amazon S3 相容的儲存裝置。 AWS OpsHub

  • 收到您的裝置後,請根據本指南在 Snow 系列裝置上使用 Amazon S3 相容儲存裝置,在 Snow 系列裝置上設定、啟動和使用 Amazon S3 相容儲存

在 Snow 系列裝置上使用運算執行個體的先決

您可以使用sbe1sbe-csbe-g執行個體類型,執行在 AWS Snowball Edge 上託管的 Amazon EC2 相容運算執行個體:

  • sbe1執行個體類型適用於具有 Snowball Edge Storage Optimized 選項的裝置。

  • sbe-c執行個體類型可在具有 Snowball Edge Compute Optimized 選項的裝置上運作。

  • sbe-csbe-g執行個體類型都可以在具有 Snowball Edge Compute Optimized 的 GPU 選項的裝置上運作。

Snowball Edge 裝置選項上支援的所有運算執行個體類型都是 AWS Snowball Edge 裝置獨有的。就像與他們對應的雲端執行個體一樣,這些執行個體需要 Amazon Machine Image (AMI) 才能啟動。在建立 Snowball Edge 工作之前,請先為執行個體選擇 AMI。

若要在 Snowball Edge 上使用運算執行個體,請建立訂購 Snow 系列裝置的任務,並指定您的 AMI。您可以使用 AWS Snowball 管理主控台、 AWS Command Line Interface (AWS CLI) 或其中一個 AWS SDK 來執行此操作。一般而言,若要使用執行個體,您必須先執行一些管理先決條件,才能建立工作。

對於使用運算執行個體的作業,您必須先有 AMI, AWS 帳戶 且該映像檔類型必須是受支援的映像檔類型,才能將任何 AMI 新增至工作。目前,支援的 AMI 是以下列作業系統為基礎:

注意

Ubuntu 16.04 LTS-Xenial (HVM) 映像不再受支援 AWS Marketplace,但仍支援透過 Amazon EC2 虛擬機器匯入/匯出在 Snowball 邊緣裝置上使用,並在 AMI 中本機執行。

您可以從中獲取這些圖像AWS Marketplace

如果您使用 SSH 連線至在 Snowball Edge 上執行的執行個體,您可以使用自己的 key pair,也可以在 Snowball Edge 上建立金鑰組。若要用 AWS OpsHub 來在裝置上建立 key pair,請參閱使用金鑰配對。若要使用 AWS CLI 在裝置上建立 key pair,請參閱create-key-pair中的Snowball 邊緣支援的 Amazon EC2 相容 AWS CLI 命令清單。如需金鑰配對和 Amazon Linux 2 的詳細資訊,請參閱 Amazon EC2 使用者指南中的 Amazon EC2 金鑰配對和 Linux 執行個體

如需在裝置上使用運算執行個體的特定資訊,請參閱使用與 Amazon EC2 相容的運算執行個體