使用 Snow Family 裝置的先決條件 - AWS Snowball Edge 開發人員指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Snow Family 裝置的先決條件

開始使用 Snow Family 裝置之前,如果您沒有 帳戶,則需要註冊 AWS 帳戶。我們也建議您了解如何設定資料和運算執行個體,以搭配 Snow Family 裝置使用。

AWS Snowball Edge 是區域特定的服務。因此,在您規劃任務之前,請確定 服務可在您的 中使用 AWS 區域。請確定您的位置和 Amazon S3 儲存貯體位於相同 AWS 區域 或相同的國家/地區,因為這會影響您訂購裝置的能力。

若要在具有運算最佳化裝置的 Snow Family 裝置上使用 Amazon S3 相容儲存,以進行本機邊緣運算和儲存任務,您需要在訂購時在裝置或裝置上佈建 S3 容量。Snow Family 裝置上的 Amazon S3 相容儲存體支援本機儲存貯體管理,因此您可以在收到裝置或裝置後,在裝置或叢集上建立 S3 儲存貯體。

作為訂單程序的一部分,您可以建立 AWS Identity and Access Management (IAM) 角色和 AWS Key Management Service (AWS KMS) 金鑰。KMS 金鑰用於加密任務的解除鎖定碼。如需建立IAM角色和KMS金鑰的詳細資訊,請參閱建立任務以訂購 Snow Family 裝置。

注意

在亞太區域 (孟買) AWS 區域 服務由 Amazon on Internet Services Private Limited () 提供AISPL。如需在亞太區域 (孟買) 註冊 Amazon Web Services 的相關資訊 AWS 區域,請參閱註冊 AISPL

註冊 AWS 帳戶

如果您沒有 AWS 帳戶,請完成下列步驟以建立 。

若要註冊 AWS 帳戶
  1. 開啟https://portal.aws.amazon.com/billing/註冊

  2. 請遵循線上指示進行。

    部分註冊程序需接收來電,並在電話鍵盤輸入驗證碼。

    當您註冊 時 AWS 帳戶,AWS 帳戶根使用者會建立 。根使用者有權存取該帳戶中的所有 AWS 服務 和資源。作為安全最佳實務,請將管理存取權指派給使用者,並且僅使用根使用者來執行需要根使用者存取權的任務

AWS 會在註冊程序完成後傳送確認電子郵件給您。您可以隨時前往 https://aws.amazon.com/ 並選擇我的帳戶 來檢視目前的帳戶活動和管理帳戶

建立具有管理存取權的使用者

註冊 後 AWS 帳戶,請保護您的 AWS 帳戶根使用者、啟用 AWS IAM Identity Center並建立管理使用者,這樣您就不會將根使用者用於日常任務。

保護您的 AWS 帳戶根使用者
  1. 選擇根使用者並輸入 AWS 帳戶 您的電子郵件地址,以帳戶擁有者AWS Management Console身分登入 。在下一頁中,輸入您的密碼。

    如需使用根使用者登入的說明,請參閱 AWS 登入 使用者指南中的以根使用者身分登入

  2. 為您的根使用者開啟多重要素驗證 (MFA)。

    如需指示,請參閱 IAM 使用者指南 中的為 AWS 帳戶 根使用者 (主控台) 啟用虛擬MFA裝置

建立具有管理存取權的使用者
  1. 啟用IAM身分中心。

    如需指示,請參閱 AWS IAM Identity Center 使用者指南中的啟用 AWS IAM Identity Center

  2. 在 IAM Identity Center 中,將管理存取權授予使用者。

    如需使用 IAM Identity Center 目錄 作為身分來源的教學課程,請參閱 AWS IAM Identity Center 使用者指南 中的使用 設定使用者存取權 IAM Identity Center 目錄

以具有管理存取權的使用者身分登入
  • 若要使用 IAM Identity Center 使用者登入,請使用您建立 IAM Identity Center 使用者時URL傳送到您電子郵件地址的登入。

    如需使用 IAM Identity Center 使用者登入的協助,請參閱 AWS 登入 使用者指南 中的登入 AWS 存取入口網站

指派存取權給其他使用者
  1. 在 IAM Identity Center 中,建立遵循套用最低權限許可最佳實務的許可集。

    如需指示,請參閱《AWS IAM Identity Center 使用者指南》中的建立許可集

  2. 將使用者指派至群組,然後對該群組指派單一登入存取權。

    如需指示,請參閱《AWS IAM Identity Center 使用者指南》中的新增群組

關於您的環境

了解資料集以及本機環境的設定方式,將有助於您完成資料傳輸。在下訂單之前,請考慮下列事項。

您要傳輸哪些資料?

傳輸大量小型檔案無法與 AWS Snowball Edge 搭配使用。這是因為 Snowball Edge 會加密每個物件。小型檔案包含大小小於 1 MB 的檔案。建議您在將它們轉移至 AWS Snowball Edge 裝置之前,先將其壓縮。我們也建議您在每個目錄中不超過 500,000 個檔案或目錄。

資料是否會在傳輸期間存取?

具有靜態資料集很重要 (也就是說,傳輸期間沒有使用者或系統存取資料)。如果不是,檔案傳輸可能會因為總和檢查碼不相符而失敗。檔案不會傳輸,且檔案會標記為 Failed

為了防止資料損毀,請勿在傳輸資料時中斷連接 AWS Snowball Edge 裝置或變更其網路設定。檔案於正在寫入裝置時,應處於靜態狀態。在寫入裝置時修改的檔案可能會導致讀取/寫入衝突。

網路是否支援 AWS Snowball 資料傳輸?

Snowball Edge 支援 RJ45SFP+QSFP+ 網路轉接器。確認您的交換器是 GB 交換器。視交換器品牌而定,它可能會說 gigabit10/100/1000。Snowball Edge 裝置不支援巨型交換器或 10/100 交換器。

使用包含特殊字元的檔案名稱

請注意,如果您的物件名稱包含特殊字元,您可能會遇到錯誤。雖然 Amazon S3 允許特殊字元,但強烈建議您避免下列字元:

  • 反斜線 ("\")

  • 左大括弧 ("{")

  • 右大括弧 ("}")

  • 左方括號 ("[")

  • 右方括號 ("]")

  • 「小於」符號 ("<")

  • 「大於」符號 (">")

  • 不可列印ASCII字元 (128–255 個小數字元)

  • 插入號 ("^")

  • 百分比字元 ("%")

  • 重音符號/反引號 ("`")

  • 問號

  • 波狀符號 ("~")

  • 井字號 ("#")

  • 垂直分隔號/縱線字元 ("|")

如果您的檔案在物件名稱中具有一或多個這些字元,請在將物件複製到 AWS Snowball Edge 裝置之前重新命名物件。檔案名稱中具有空格的 Windows 使用者在複製個別物件或執行遞迴命令時應小心謹慎。在 命令中,包圍包含引號名稱中空格的物件名稱。以下是這些檔案的範例。

作業系統 檔案名稱:test file.txt

Windows

“C:\Users\<username>\desktop\test file.txt”

iOS

/Users/<username>/test\ file.txt

Linux

/home/<username>/test\ file.txt

注意

傳輸的唯一物件中繼資料是物件名稱和大小。

使用 的 Amazon S3 加密 AWS KMS

您可以在匯入或匯出資料時,使用預設的 AWS 受管或客戶受管加密金鑰來保護資料。

將 Amazon S3 預設儲存貯體加密與 AWS KMS 受管金鑰搭配使用

使用 啟用 AWS 受管加密 AWS KMS
  1. 在 開啟 Amazon S3 主控台https://console.aws.amazon.com/s3/

  2. 選擇您要加密的 Amazon S3 儲存貯體。

  3. 在出現在右側的精靈中,選擇屬性

  4. 預設加密方塊中,選擇停用 (此選項呈現灰色) 以啟用預設加密。

  5. 選擇 AWS-KMS 作為加密方法,然後選擇您要使用的KMS金鑰。此金鑰用於加密PUT儲存貯體中的物件。

  6. 選擇 Save (儲存)。

建立 Snowball Edge 任務之後,並在匯入資料之前,將陳述式新增至現有IAM角色政策。這是您在訂購過程中建立的角色。根據任務類型,預設角色名稱看起來類似 Snowball-import-s3-only-roleSnowball-export-s3-only-role

以下是此類陳述式的範例。

用於匯入資料

如果您使用伺服器端加密搭配 AWS KMS 受管金鑰 (SSE-KMS) 來加密與匯入任務相關聯的 Amazon S3 儲存貯體,您也需要將下列陳述式新增至您的IAM角色。

範例 Snowball 匯入IAM角色範例
{ "Effect": "Allow", "Action": [ "kms: GenerateDataKey", "kms: Decrypt" ], "Resource":"arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

用於匯出資料

如果您使用伺服器端加密搭配 AWS KMS 受管金鑰來加密與匯出任務相關聯的 Amazon S3 儲存貯體,您還必須將下列陳述式新增至您的IAM角色。

範例 Snowball 匯出IAM角色
{ "Effect": "Allow", "Action": [ "kms:Decrypt" ], "Resource":"arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

搭配 AWS KMS 客戶金鑰使用 S3 預設儲存貯體加密

您可以使用預設的 Amazon S3 儲存貯體加密與您自己的KMS金鑰來保護您匯入和匯出的資料。

用於匯入資料

使用 啟用客戶受管加密 AWS KMS
  1. 登入 AWS Management Console 並在 https://console.aws.amazon.com/kms 開啟 AWS Key Management Service (AWS KMS) 主控台。

  2. 若要變更 AWS 區域,請使用頁面右上角的區域選擇器。

  3. 在左側導覽窗格中,選擇客戶受管金鑰 ,然後選擇與您要使用的儲存貯體相關聯的KMS金鑰。

  4. 如果尚未展開金鑰政策,請展開金鑰政策

  5. 金鑰使用者區段中,選擇新增並搜尋IAM角色。選擇IAM角色,然後選擇新增

  6. 或者,您可以選擇切換至政策檢視,以顯示金鑰政策文件,並將陳述式新增至金鑰政策。以下是政策的範例。

範例 AWS KMS 客戶受管金鑰的政策
{ "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/snowball-import-s3-only-role" ] }, "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": "*" }

將此政策新增至 AWS KMS 客戶受管金鑰後,還需要更新與 Snowball 任務相關聯的IAM角色。根據預設,角色為 snowball-import-s3-only-role

範例 Snowball 匯入IAM角色的
{ "Effect": "Allow", "Action": [ "kms: GenerateDataKey", "kms: Decrypt" ], "Resource": "arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

如需詳細資訊,請參閱針對 使用以身分為基礎的政策 (IAM 政策) AWS Snowball

使用的KMS金鑰如下所示:

“Resource”:“arn:aws:kms:region:AccoundID:key/*”

用於匯出資料

範例 AWS KMS 客戶受管金鑰的政策
{ "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/snowball-import-s3-only-role" ] }, "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": "*" }

將此政策新增至 AWS KMS 客戶受管金鑰後,還需要更新與 Snowball 任務相關聯的IAM角色。根據預設,角色看起來如下所示:

snowball-export-s3-only-role

範例 Snowball 匯出IAM角色的
{ "Effect": "Allow", "Action": [ "kms: GenerateDataKey", "kms: Decrypt" ], "Resource": "arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

將此政策新增至 AWS KMS 客戶受管金鑰後,還需要更新與 Snowball 任務相關聯的IAM角色。根據預設,角色為 snowball-export-s3-only-role

Amazon S3 加密搭配伺服器端加密

AWS Snowball 支援使用 Amazon S3 受管加密金鑰 (SSE-S3) 的伺服器端加密。伺服器端加密是關於保護靜態資料,而 SSE-S3 具有強大的多因素加密,可在 Amazon S3 中保護靜態資料。如需 SSE-S3 的詳細資訊,請參閱Amazon Simple Storage Service 使用者指南中的使用伺服器端加密與 Amazon S3-Managed加密金鑰 (SSE-S3) 保護資料

注意

目前, AWS Snowball 不支援使用客戶提供的金鑰 (SSE-C) 進行伺服器端加密。不過,您可能想要使用該SSE類型來保護已匯入的資料,或者您可能已在要匯出的資料上使用它。在這些情況下,請謹記下列事項:

  • 匯入:如果您想要使用 SSE-C 來加密已匯入 S3 的物件,請將這些物件複製到另一個儲存貯體,該儲存貯體政策中已將 SSE-KMS 或 SSE-S3 加密建立為該儲存貯體的一部分。

  • 匯出 – 如果您想要匯出使用 SSE-C 加密的物件,請先將這些物件複製到沒有伺服器端加密,或在儲存貯體的儲存貯體政策中指定 SSE-KMS 或 SSE-S3 的另一個儲存貯體。

在 Snow Family 裝置上使用 Amazon S3 轉接器進行匯入和匯出任務的先決條件

當您使用裝置將資料從內部部署資料來源移至雲端,或從雲端移至內部部署資料儲存時,您可以在 Snow Family 裝置上使用 S3 轉接器。如需詳細資訊,請參閱使用 Amazon S3 轉接器將檔案傳輸到 Snow Family 裝置或從 Snow Family 裝置遷移資料

與任務相關聯的 Amazon S3 儲存貯體必須使用 Amazon S3 標準儲存類別。首次建立任務前,請注意下列資訊。

對於將資料匯入 Amazon S3 的任務,請遵循下列步驟:

從 Amazon S3 匯出資料之前,請遵循下列步驟:

  • 了解在您建立任務時將匯出的資料。如需詳細資訊,請參閱將資料匯出至 Snowball Edge 裝置時使用 Amazon S3 物件金鑰

  • 對於檔案名稱中具有冒號 (:) 的任何檔案,請在建立匯出任務之前變更 Amazon S3 中的檔案名稱,以取得這些檔案。無法將檔案名稱中有冒號的檔案匯出至 Microsoft Windows Server。

在 Snow Family 裝置上使用 Amazon S3 相容儲存體的先決條件

當您將資料儲存在裝置邊緣位置,以及將資料用於本機運算操作時,您可以在 Snow Family 裝置上使用 Amazon S3 相容儲存。傳回裝置時,用於本機運算操作的資料將不會匯入 Amazon S3。

使用 Amazon S3 相容儲存為本機運算和儲存訂購 Snow 裝置時,請記住下列事項。

  • 訂購裝置時,您將佈建 Amazon S3 儲存容量。因此,在訂購裝置之前,請考慮您的儲存需求。

  • 您可以在收到 Amazon S3 儲存貯體後,而不是在訂購 Snow Family 裝置時,在裝置上建立 Amazon S3 儲存貯體。

  • 您需要下載最新版本的 AWS CLI (v2.11.15 或更高版本)、Snowball Edge 用戶端,或在電腦上 AWS OpsHub 安裝它,才能在 Snow Family 裝置上使用 Amazon S3 相容儲存體。

  • 收到您的裝置後,請根據本指南中的在 Snow Family 裝置上使用 Amazon S3 相容儲存,在 Snow Family 裝置上設定、啟動和使用 Amazon S3 相容儲存

在 Snow Family 裝置上使用運算執行個體的先決條件

您可以使用 sbe1sbe-c和 執行個體類型執行託管在 AWS Snowball Edge 上的 Amazon EC2相容運算sbe-g執行個體:

  • sbe1 執行個體類型適用於具有 Snowball Edge Storage Optimized 選項的裝置。

  • sbe-c 執行個體類型適用於具有 Snowball Edge Compute Optimized 選項的裝置。

  • sbe-csbe-g執行個體類型都可以在具有 Snowball Edge Compute Optimized with GPU選項的裝置上運作。

Snowball Edge 裝置選項上支援的所有運算執行個體類型,對 AWS Snowball Edge 裝置而言都是唯一的。與其雲端型複本一樣,這些執行個體需要 Amazon Machine Images (AMIs) 才能啟動。在建立 Snowball Edge 任務之前,您可以選擇執行個體AMI的 。

若要在 Snowball Edge 上使用運算執行個體,請建立任務以訂購 Snow Family 裝置並指定您的 AMIs。您可以使用 AWS Snowball 管理主控台、 AWS Command Line Interface (AWS CLI) 或其中一個 來執行此操作 AWS SDKs。一般而言,若要使用執行個體,在建立任務之前,您必須執行一些內部管理先決條件。

對於使用運算執行個體的任務,您必須先在 AMI中 AWS 帳戶 擁有 ,且必須是支援的影像類型,才能AMIs將任何 新增至您的任務。目前, 支援AMIs以下列作業系統為基礎:

注意

不再支援 Ubuntu 16.04 LTS - Xenial (HVM) 映像 AWS Marketplace,但仍支援透過 Amazon EC2 VM Import/Export 在 Snowball Edge 裝置上使用,並在 中本機執行AMIs。

您可以從 取得這些影像AWS Marketplace

如果您使用 SSH 連線到在 Snowball Edge 上執行的執行個體,您可以使用自己的金鑰對,也可以在 Snowball Edge 上建立金鑰對。若要使用 在裝置上 AWS OpsHub 建立金鑰對,請參閱 使用 中EC2相容執行個體的金鑰對 AWS OpsHub。若要使用 AWS CLI 在裝置上建立金鑰對,請參閱create-key-pair中的 Snow Family 裝置上支援的 EC2相容 AWS CLI 命令清單。如需金鑰對和 Amazon Linux 2 的詳細資訊,請參閱 Amazon EC2使用者指南中的 Amazon EC2金鑰對和 Linux 執行個體

如需在裝置上使用運算執行個體的特定資訊,請參閱在 Snow Family 裝置上使用與 Amazon EC2相容的運算執行個體