使用 Snowball Edge 的先決條件 - AWS Snowball 邊緣 開發人員指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Snowball Edge 的先決條件

開始使用 Snowball Edge 之前,如果您沒有 Snowball Edge,則需要註冊 AWS 帳戶。我們也建議您了解如何設定您的資料和運算執行個體,以搭配 Snowball Edge 使用。

AWS Snowball Edge 是區域特定的服務。因此,在您規劃任務之前,請確定您的 中有可用的服務 AWS 區域。請確定您的位置和 Amazon S3 儲存貯體位於相同 AWS 區域 或相同的國家/地區,因為它會影響您訂購裝置的能力。

若要將 Snowball Edge 上的 Amazon S3 相容儲存與運算最佳化裝置搭配使用,以進行本機邊緣運算和儲存任務,您需要在訂購時在裝置或裝置上佈建 S3 容量。Snowball Edge 上的 Amazon S3 相容儲存體支援本機儲存貯體管理,因此您可以在收到裝置或裝置後,在裝置或叢集上建立 S3 儲存貯體。

作為訂單程序的一部分,您可以建立 AWS Identity and Access Management (IAM) 角色和 AWS Key Management Service (AWS KMS) 金鑰。KMS 金鑰用於加密任務的解鎖碼。如需建立 IAM 角色和 KMS 金鑰的詳細資訊,請參閱建立任務以訂購 Snowball Edge 裝置

注意

在亞太區域 (孟買) AWS 區域 服務由 Amazon on Internet Services Private Limited (AISPL) 提供。如需在亞太區域 (孟買) 註冊 Amazon Web Services 的相關資訊 AWS 區域,請參閱註冊 AISPL

註冊 AWS 帳戶

如果您沒有 AWS 帳戶,請完成下列步驟來建立一個 。

註冊 AWS 帳戶
  1. 開啟 https://portal.aws.amazon.com/billing/signup

  2. 請遵循線上指示進行。

    部分註冊程序需接收來電,並在電話鍵盤輸入驗證碼。

    當您註冊 時 AWS 帳戶,AWS 帳戶根使用者會建立 。根使用者有權存取該帳戶中的所有 AWS 服務 和資源。作為安全最佳實務,請將管理存取權指派給使用者,並且僅使用根使用者來執行需要根使用者存取權的任務

AWS 會在註冊程序完成後傳送確認電子郵件給您。您可以隨時登錄 https://aws.amazon.com/ 並選擇我的帳戶,以檢視您目前的帳戶活動並管理帳戶。

建立具有管理存取權的使用者

註冊 後 AWS 帳戶,請保護 AWS 帳戶根使用者、啟用 AWS IAM Identity Center和建立管理使用者,以免將根使用者用於日常任務。

保護您的 AWS 帳戶根使用者
  1. 選擇根使用者並輸入 AWS 帳戶 您的電子郵件地址,以帳戶擁有者AWS Management Console身分登入 。在下一頁中,輸入您的密碼。

    如需使用根使用者登入的說明,請參閱 AWS 登入 使用者指南中的以根使用者身分登入

  2. 若要在您的根使用者帳戶上啟用多重要素驗證 (MFA)。

    如需說明,請參閱《IAM 使用者指南》中的為您的 AWS 帳戶 根使用者 (主控台) 啟用虛擬 MFA 裝置

建立具有管理存取權的使用者
  1. 啟用 IAM Identity Center。

    如需指示,請參閱《AWS IAM Identity Center 使用者指南》中的啟用 AWS IAM Identity Center

  2. 在 IAM Identity Center 中,將管理存取權授予使用者。

    如需使用 IAM Identity Center 目錄 做為身分來源的教學課程,請參閱AWS IAM Identity Center 《 使用者指南》中的使用預設值設定使用者存取權 IAM Identity Center 目錄

以具有管理存取權的使用者身分登入
  • 若要使用您的 IAM Identity Center 使用者簽署,請使用建立 IAM Identity Center 使用者時傳送至您電子郵件地址的簽署 URL。

    如需使用 IAM Identity Center 使用者登入的說明,請參閱AWS 登入 《 使用者指南》中的登入 AWS 存取入口網站

指派存取權給其他使用者
  1. 在 IAM Identity Center 中,建立一個許可集來遵循套用最低權限的最佳實務。

    如需指示,請參閱《AWS IAM Identity Center 使用者指南》中的建立許可集

  2. 將使用者指派至群組,然後對該群組指派單一登入存取權。

    如需指示,請參閱《AWS IAM Identity Center 使用者指南》中的新增群組

關於您的環境

了解您的資料集以及本機環境的設定方式,可協助您完成資料傳輸。在下訂單之前,請考慮下列事項。

您要傳輸哪些資料?

傳輸大量小型檔案無法與 AWS Snowball Edge 搭配使用。這是因為 Snowball Edge 會加密每個個別物件。小型檔案包含大小小於 1 MB 的檔案。建議您先將它們壓縮,再將它們轉移到 AWS Snowball Edge 裝置。我們也建議您在每個目錄中不要有超過 500,000 個檔案或目錄。

資料是否會在傳輸期間存取?

具有靜態資料集很重要 (也就是說,傳輸期間沒有使用者或系統存取資料)。如果沒有,檔案傳輸可能會因為檢查總和不相符而失敗。檔案不會傳輸,且檔案會標示為 Failed

為了防止資料損毀,請勿在傳輸資料時中斷 AWS Snowball Edge 裝置連線或變更其網路設定。檔案於正在寫入裝置時,應處於靜態狀態。在寫入裝置時修改的檔案可能會導致讀取/寫入衝突。

網路是否支援 AWS Snowball 資料傳輸?

Snowball Edge 支援 RJ45SFP+QSFP+ 網路轉接器。確認您的交換器是 GB 交換器。視切換品牌而定,它可能會說 gigabit10/100/1000。Snowball Edge 裝置不支援大型交換器或 10/100 交換器。

使用包含特殊字元的檔案名稱

請注意,如果您的物件名稱包含特殊字元,您可能會遇到錯誤。雖然 Amazon S3 允許特殊字元,但強烈建議您避免下列字元:

  • 反斜線 ("\")

  • 左大括弧 ("{")

  • 右大括弧 ("}")

  • 左方括號 ("[")

  • 右方括號 ("]")

  • 「小於」符號 ("<")

  • 「大於」符號 (">")

  • 無法列印的 ASCII 字元 (128 - 255 十進位字元)

  • 插入號 ("^")

  • 百分比字元 ("%")

  • 重音符號/反引號 ("`")

  • 問號

  • 波狀符號 ("~")

  • 井字號 ("#")

  • 垂直分隔號/縱線字元 ("|")

如果您的檔案在物件名稱中有一或多個這些字元,請在將物件複製到 AWS Snowball Edge 裝置之前重新命名物件。在複製個別物件或執行遞迴命令時,檔案名稱中具有空格的 Windows 使用者應小心。在命令中,包圍包含引號名稱中空格的物件名稱。以下是此類檔案的範例。

作業系統 檔案名稱:test file.txt

Windows

“C:\Users\<username>\desktop\test file.txt”

iOS

/Users/<username>/test\ file.txt

Linux

/home/<username>/test\ file.txt

注意

傳輸的唯一物件中繼資料是物件名稱和大小。

使用 的 Amazon S3 加密 AWS KMS

您可以使用預設的 AWS 受管或客戶受管加密金鑰,在匯入或匯出資料時保護您的資料。

搭配 AWS KMS 受管金鑰使用 Amazon S3 預設儲存貯體加密

使用 啟用 AWS 受管加密 AWS KMS
  1. 開啟位於 https://console.aws.amazon.com/s3/ 的 Amazon S3 主控台。

  2. 選擇您要加密的 Amazon S3 儲存貯體。

  3. 在出現在右側的精靈中,選擇屬性

  4. 預設加密方塊中,選擇停用 (此選項顯示為灰色) 以啟用預設加密。

  5. 選擇 AWS-KMS 做為加密方法,然後選擇您要使用的 KMS 金鑰。此金鑰用於加密儲存貯體中的 PUT 物件。

  6. 選擇 Save (儲存)。

建立 Snowball Edge 任務之後,並在匯入資料之前,將陳述式新增至現有的 IAM 角色政策。這是您在訂購過程中建立的角色。根據任務類型,預設角色名稱看起來類似 Snowball-import-s3-only-roleSnowball-export-s3-only-role

以下是這類陳述式的範例。

用於匯入資料

如果您使用伺服器端加密搭配 AWS KMS 受管金鑰 (SSE-KMS) 來加密與匯入任務相關聯的 Amazon S3 儲存貯體,您也需要將下列陳述式新增至您的 IAM 角色。

範例 Snowball 匯入 IAM 角色範例
{ "Effect": "Allow", "Action": [ "kms: GenerateDataKey", "kms: Decrypt" ], "Resource":"arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

用於匯出資料

如果您使用伺服器端加密搭配 AWS KMS 受管金鑰來加密與匯出任務相關聯的 Amazon S3 儲存貯體,您還必須將下列陳述式新增至您的 IAM 角色。

範例 Snowball 匯出 IAM 角色
{ "Effect": "Allow", "Action": [ "kms:Decrypt" ], "Resource":"arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

搭配 AWS KMS 客戶金鑰使用 S3 預設儲存貯體加密

您可以使用預設的 Amazon S3 儲存貯體加密搭配您自己的 KMS 金鑰,來保護您匯入和匯出的資料。

用於匯入資料

使用 啟用客戶受管加密 AWS KMS
  1. 登入 AWS Management Console ,並在 https://https://console.aws.amazon.com/kms 開啟 AWS Key Management Service (AWS KMS) 主控台。

  2. 若要變更 AWS 區域,請使用頁面右上角的區域選擇器。

  3. 在左側導覽窗格中,選擇客戶受管金鑰,然後選擇與您要使用的儲存貯體相關聯的 KMS 金鑰。

  4. 如果尚未展開金鑰政策,請展開金鑰政策

  5. 金鑰使用者區段中,選擇新增並搜尋 IAM 角色。選擇 IAM 角色,然後選擇新增

  6. 或者,您可以選擇切換到政策檢視,以顯示金鑰政策文件,並將陳述式新增至金鑰政策。以下是 政策的範例。

範例 AWS KMS 客戶受管金鑰的政策
{ "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/snowball-import-s3-only-role" ] }, "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": "*" }

將此政策新增至 AWS KMS 客戶受管金鑰後,還需要更新與 Snowball 任務相關聯的 IAM 角色。根據預設,角色為 snowball-import-s3-only-role

範例 Snowball 匯入 IAM 角色的
{ "Effect": "Allow", "Action": [ "kms: GenerateDataKey", "kms: Decrypt" ], "Resource": "arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

如需詳細資訊,請參閱針對 使用以身分為基礎的政策 (IAM 政策) AWS Snowball

正在使用的 KMS 金鑰如下所示:

“Resource”:“arn:aws:kms:region:AccoundID:key/*”

用於匯出資料

範例 AWS KMS 客戶受管金鑰的政策
{ "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/snowball-import-s3-only-role" ] }, "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": "*" }

將此政策新增至 AWS KMS 客戶受管金鑰後,還需要更新與 Snowball 任務相關聯的 IAM 角色。根據預設,角色看起來如下:

snowball-export-s3-only-role

範例 Snowball 匯出 IAM 角色的
{ "Effect": "Allow", "Action": [ "kms: GenerateDataKey", "kms: Decrypt" ], "Resource": "arn:aws:kms:us-west-2:123456789012:key/abc123a1-abcd-1234-efgh-111111111111" }

將此政策新增至 AWS KMS 客戶受管金鑰後,還需要更新與 Snowball 任務相關聯的 IAM 角色。根據預設,角色為 snowball-export-s3-only-role

Amazon S3 加密搭配伺服器端加密

AWS Snowball 支援使用 Amazon S3 受管加密金鑰 (SSE-S3) 的伺服器端加密。伺服器端加密是關於保護靜態資料,而 SSE-S3 具有強大的多重因素加密,可在 Amazon S3 中保護靜態資料。如需 SSE-S3 的詳細資訊,請參閱《Amazon Simple Storage Service 使用者指南》中的使用伺服器端加密搭配 Amazon S3-Managed加密金鑰 (SSE-S3) 保護資料

注意

目前, AWS Snowball 不支援使用客戶提供的金鑰 (SSE-C) 進行伺服器端加密。不過,您可能想要使用 SSE 類型來保護匯入的資料,或者您可能已使用這個選項來保護您要匯出的資料。在這些情況下,請謹記下列事項:

  • 匯入:如果您想要使用 SSE-C 來加密已匯入 S3 的物件,請將這些物件複製到另一個儲存貯體,該儲存貯體政策已將 SSE-KMS 或 SSE-S3 加密建立為儲存貯體政策的一部分。

  • 匯出 – 如果您想要匯出使用 SSE-C 加密的物件,請先將這些物件複製到沒有伺服器端加密的另一個儲存貯體,或在儲存貯體的儲存貯體政策中指定 SSE-KMS 或 SSE-S3。

在 Snowball Edge 上使用 Amazon S3 轉接器進行匯入和匯出任務的先決條件

當您使用裝置將資料從現場部署資料來源移至雲端,或從雲端移至現場部署資料儲存時,可以在 Snowball Edge 上使用 S3 轉接器。如需詳細資訊,請參閱使用 Amazon S3 轉接器將檔案傳輸到 Snowball Edge 或從 Snowball Edge 遷移資料

與任務相關聯的 Amazon S3 儲存貯體必須使用 Amazon S3 標準儲存類別。首次建立任務前,請注意下列資訊。

對於將資料匯入 Amazon S3 的任務,請遵循下列步驟:

從 Amazon S3 匯出資料之前,請遵循下列步驟:

  • 了解在您建立任務時將匯出的資料。如需詳細資訊,請參閱將資料匯出至 Snowball Edge 裝置時使用 Amazon S3 物件金鑰

  • 對於檔案名稱中具有冒號 (:) 的任何檔案,請在建立匯出任務之前變更 Amazon S3 中的檔案名稱,以取得這些檔案。無法將檔案名稱中有冒號的檔案匯出至 Microsoft Windows Server。

在 Snowball Edge 上使用 Amazon S3 相容儲存體的先決條件

當您將資料存放在裝置邊緣位置,並使用資料進行本機運算操作時,您可以在 Snowball Edge 上使用 Amazon S3 相容儲存。傳回裝置時,用於本機運算操作的資料將不會匯入 Amazon S3。

使用 Amazon S3 相容儲存為本機運算和儲存訂購 Snow 裝置時,請記住下列事項。

  • 訂購裝置時,您將佈建 Amazon S3 儲存容量。因此,在訂購裝置之前,請考慮您的儲存需求。

  • 您可以在收到 Amazon S3 儲存貯體後,而不是在訂購 Snowball Edge 裝置時,在裝置上建立它。

  • 您將需要下載最新版本的 AWS CLI (v2.11.15 或更高版本)、Snowball Edge 用戶端,或在電腦上 AWS OpsHub 安裝它,以在 Snowball Edge 上使用 Amazon S3 相容儲存。

  • 收到您的裝置後,請根據本指南中的在 Snowball Edge 上使用 Amazon S3 相容儲存,在 Snowball Edge 上設定、啟動和使用 Amazon S3 相容儲存

在 Snowball Edge 上使用運算執行個體的先決條件

您可以使用 sbe1sbe-c和 執行個體類型,執行託管在 AWS Snowball Edge 上的 Amazon EC2-compatible運算sbe-g執行個體:

  • sbe1 執行個體類型可在具有 Snowball Edge Storage Optimized 選項的裝置上運作。

  • sbe-c 執行個體類型適用於具有 Snowball Edge Compute Optimized 選項的裝置。

Snowball Edge 裝置選項支援的所有運算執行個體類型,對 AWS Snowball Edge 裝置而言都是唯一的。就像與他們對應的雲端執行個體一樣,這些執行個體需要 Amazon Machine Image (AMI) 才能啟動。在建立 Snowball Edge 任務之前,您可以選擇執行個體的 AMI。

若要在 Snowball Edge 上使用運算執行個體,請建立任務來訂購 Snowball Edge 裝置並指定您的 AMIs。您可以使用 AWS Snowball 管理主控台、 AWS Command Line Interface (AWS CLI) 或其中一個 AWS SDKs 來執行此操作。一般而言,若要使用執行個體,在建立任務之前,您必須執行一些內部管理先決條件。

對於使用運算執行個體的任務,在您可以將任何 AMIs 新增至任務之前,您必須在 AWS 帳戶 中擁有 AMI,而且必須是支援的影像類型。目前,支援的 AMIs 是以這些作業系統為基礎:

注意

不再支援 Ubuntu 16.04 LTS - Xenial (HVM) 映像 AWS Marketplace,但仍支援透過 Amazon EC2 VM Import/Export 在 Snowball Edge 裝置上使用,並在 AMIs中於本機執行。

您可以從 取得這些映像AWS Marketplace

如果您使用 SSH 連線到在 Snowball Edge 上執行的執行個體,您可以使用自己的金鑰對,也可以在 Snowball Edge 上建立金鑰對。若要使用 AWS OpsHub 在裝置上建立金鑰對,請參閱在 中使用與 EC2-compatible執行個體的金鑰對 AWS OpsHub。若要使用 AWS CLI 在裝置上建立金鑰對,請參閱 create-key-pair中的 Snowball Edge 上支援的 EC2-compatible AWS CLI 命令清單。如需金鑰對和 Amazon Linux 2 的詳細資訊,請參閱《Amazon EC2 使用者指南》中的 Amazon EC2 金鑰對和 Linux 執行個體。 Amazon EC2

如需在裝置上使用運算執行個體的特定資訊,請參閱在 Snowball Edge 上使用與 Amazon EC2-compatible運算執行個體