在 Snow Family 裝置上搭配 Snow 裝置叢集使用 Amazon S3 相容儲存 - AWS Snowball Edge 開發人員指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在 Snow Family 裝置上搭配 Snow 裝置叢集使用 Amazon S3 相容儲存

叢集是三個或更多 Snowball Edge 裝置的集合,用作本機儲存和運算用途的單一邏輯單位。與獨立的 Snowball Edge 裝置相比,叢集在本機儲存和運算方面提供兩種主要優點:

  • 提高耐久性 – 與單一裝置相比,存放在 Snowball Edge 裝置叢集中的 S3 資料享有更高的資料耐久性。此外,儘管可能影響叢集的硬體中斷,叢集上的資料仍然安全且可行。在資料處於危險狀態之前,叢集可以承受 3 和 4 個裝置叢集中的一個裝置遺失,以及 5 到 16 個裝置叢集中最多兩個裝置遺失。您可以取代運作狀態不佳的節點,以維持叢集中儲存資料的耐久性和安全性。

  • 增加的儲存 – 透過 Snowball Edge 儲存最佳化裝置,您可以建立單一的 16 節點叢集,具有最多 2.6 PB 的可用 S3-compatible儲存容量。透過 Snowball Edge 運算最佳化裝置,您可以建立單一 16 節點叢集,其可用 S3-compatible 儲存容量最高可達 501 TB。

Snowball Edge 裝置的叢集是由無領導者節點組成。任何節點都可以將資料寫入整個叢集並從中讀取資料,且所有節點都能夠執行叢集的 behind-the-scenes 管理。

在計劃使用 Snowball Edge 裝置叢集時,請記住下列考量事項:

  • 建議您為叢集中的所有裝置提供備援電源,以減少叢集的潛在效能和穩定性問題。

  • 與獨立本機儲存和運算任務一樣,在未將其他裝置作為獨立匯入任務的一部分訂購的情況下,儲存在叢集中的資料無法匯入 Amazon S3。如果您將其他裝置訂購為匯入任務,您可以將資料從叢集傳輸至匯入任務裝置。

  • 若要從 Amazon S3 取得叢集上的資料,請使用 Amazon S3 在叢集上API建立 Amazon S3 儲存貯體,以儲存並從 S3 擷取物件。此外,您可以使用 AWS DataSync ,在 Snowball Edge 裝置上的 Snow Family 裝置上,在 AWS 儲存服務和 Amazon S3 相容儲存之間傳輸物件。如需詳細資訊,請參閱在 Snowball Edge 上使用 S3 相容儲存設定傳輸

  • 您可以建立任務,從 AWS Snow 系列管理主控台、 AWS CLI或其中一個 訂購裝置叢集 AWS SDKs。如需詳細資訊,請參閱Snow Family 裝置入門

  • 叢集中的每個裝置都有節點 ID。節點 ID 是叢集中每個裝置的唯一識別符,例如獨立裝置的任務 ID。您可以從 IDs AWS Snow 系列管理主控台、 AWS CLI、 AWS SDKs和 Snowball Edge 用戶端取得節點。Snowball Edge 用戶端命令describe-devicedescribe-cluster傳回節點IDs,以及裝置或叢集的其他資訊。

  • 叢集的生命週期受限於佈建叢集時授予叢集裝置的安全憑證。依預設,Snowball Edge 裝置最多可以使用 360 天,才能需要傳回。365 天之後,裝置即會停止回應讀取/寫入要求。如果您需要保留一或多個裝置超過 360 天,請聯絡 AWS Support。

  • 當 AWS 收到屬於叢集的傳回裝置時,我們會執行裝置的完整清除。此刪除遵循美國國家標準技術研究所 (NIST) 800-88 標準。

Snow Family 裝置上的 Amazon S3 相容儲存體叢集容錯能力和儲存容量
叢集大小 容錯能力 Snowball Edge Compute Optimized (使用 AMD EPYC Gen1、 HDD和選用 GPU) 裝置 (以 TB 為單位) 的儲存容量 Snowball Edge Compute Optimized (使用 AMD EPYC Gen2 和 進行運算最佳化NVMe) 裝置 (以 TB 為單位) 的儲存容量 Snowball Edge 儲存體最佳化 210 TB 裝置的儲存容量 (以 TB 為單位)

3

遺失最多 1 個節點

83

38

438

4

遺失最多 1 個節點

125

57

657

5

最多遺失 2 個節點

125

57

657

6

最多遺失 2 個節點

167

76

904

7

最多遺失 2 個節點

209

95

1096

8

最多遺失 2 個節點

250

114

1315

9

最多遺失 2 個節點

292

133

1534

10

最多遺失 2 個節點

334

152

1754

11

最多遺失 2 個節點

370

165

1970

12

最多遺失 2 個節點

376

171

1973

13

最多遺失 2 個節點

418

190

2192

14

最多遺失 2 個節點

459

209

2411

15

最多遺失 2 個節點

495

225

2625

16

最多遺失 2 個節點

501

228

2631

解除鎖定叢集後,即可在該叢集上儲存和存取資料。您可以使用 Amazon S3 相容端點,從叢集讀取和寫入資料。

若要從叢集讀取或寫入資料,您必須具有讀取/寫入量,且不超過裝置叢集中允許的可用節點數量。

Snowball Edge 叢集總量

量子代表叢集中必須互相通訊以維持讀取/寫入量的 Snowball Edge 裝置數量下限。

當叢集中的所有裝置都運作良好時,您擁有叢集的讀取/寫入量。如果其中一或兩個裝置離線,則會降低叢集的操作容量。不過,您仍然可以讀取和寫入至叢集。除了一或兩個裝置以外,叢集運作時,叢集仍具有讀取/寫入量。在叢集的操作容量受到影響之前可以離線的節點數量,請參閱 this table

如果叢集損失超過 中指示的裝置數量,Quorrom 可能會遺失this table。當數量遺失時,叢集會離線,且叢集中的資料無法使用。您或許能夠修正此問題,否則資料可能會永久遺失 (取決於事件的嚴重性)。如果這是一個臨時外部電源事件,而且您可以重新開啟 Snowball Edge 裝置並解鎖叢集中的所有節點,您的資料就會再次可用。

重要

如果沒有運作狀態節點的最小數量,請聯絡 AWS Support。

您可以使用 describe-cluster命令來檢視每個節點的鎖定狀態和網路可及性。確保叢集中的裝置運作良好且已連線是您在使用叢集儲存體時承擔的管理責任。如需詳細資訊,請參閱取得裝置狀態

如果判斷一個或多個節點運作狀態不佳,您可以取代叢集中的節點,以維持資料的量值和運作狀態和穩定性。如需詳細資訊,請參閱更換叢集中的節點