本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在装有 Snow 设备集群的 Snow Family 设备上使用与 Amazon S3 兼容的存储
集群是由三个或更多 Snowball Edge 设备组成的集合,用作用于本地存储和计算目的的单个逻辑单元。与单独的 Snowball Edge 设备相比,集群为本地存储和计算提供了两种主要好处:
-
更高的耐久性 — 存储在 Snowball Edge 设备集群中的 S3 数据比单台设备具有更高的数据持久性。此外,尽管可能出现影响集群的硬件中断,但集群上的数据仍然安全可行。在数据处于危险之中,集群可以承受由 3 和 4 个设备组成的集群中丢失一台设备,在由 5 到 16 个设备组成的集群中最多可以承受两台设备的损失。您可以替换运行状况不佳的节点,以保持存储在集群中的数据的持久性和安全性。
-
增加存储空间 — 借助 Snowball Edge 存储优化设备,您可以创建一个单个 16 节点集群,该群集具有高达 2.6 PB 的 S3 兼容可用存储容量。借助 Snowball Edge 计算优化设备,您可以创建一个单个 16 节点集群,其中包含高达 501 TB 的 S3 兼容可用存储容量。
Snowball Edge 设备的集群由无领导节点构成。任何节点都可以向整个集群写入数据和从中读取数据,并且所有节点都能够执行集群的 behind-the-scenes 管理。
在规划对 Snowball Edge 集群的使用时,请记住以下注意事项:
-
我们建议您为群集中的所有设备提供冗余电源,以减少群集的潜在性能和稳定性问题。
-
与独立的本地存储和计算作业一样,如果不将其他设备作为单独导入作业的一部分进行排序,则集群中存储的数据无法导入 Amazon S3 中。如果您预定其他设备作为导入作业,则可以将数据从集群传输到导入作业设备。
-
要将数据从 Amazon S3 传输到集群,请使用 Amazon S3 API 在集群上创建 Amazon S3 存储桶,用于存储和检索 S3 中的对象。此外,您还可以使用 AWS DataSync 在 Snowball Edge 设备上的 Snow Family 设备上的 AWS 存储服务与 Amazon S3 兼容存储之间传输对象。有关更多信息,请参阅在 Snowball Edge 上使用兼容 S3 的存储配置传输。
-
您可以创建一个任务,从 AWS Snow 系列管理控制台 AWS CLI、或其中一个订购设备集群 AWS SDKs。有关更多信息,请参阅 Snow Family 设备入门。
-
集群中的每台设备都有一个节点 ID。节点 ID 是集群中每台设备的唯一标识符,就像独立设备的任务 ID 一样。你可以IDs从 AWS Snow 系列管理控制台、、和 Snowball Edge 客户端获取节点。 AWS CLI AWS SDKsSnowball Edge 客户端命令
describe-device
并describe-cluster
返回IDs包含有关设备或集群的其他信息的节点。 -
集群的生命周期受在预置集群时向集群设备授予的安全证书的限制。默认情况下,Snowball Edge 设备在需要寄回之前最多可使用 360 天。在该时间结束时,设备将停止响应读/写请求。如果您需要将一台或多台设备保存超过 360 天,请与联系 AWS Support。
-
当 AWS 收到退回的属于集群的设备时,我们会对该设备进行彻底的擦除。此删除遵循美国国家标准与技术研究所 (NIST) 800-88 的标准。
集群大小 | 容错能力 | Snowball Edge Compute Optimize AMD EPYC d(包括第 1 代HDD和GPU可选)设备的存储容量(以 TB 为单位) | Snowball Edge Compute Optimized(使用第 2 代NVMe进行了计算优化)设备的存储容量(AMDEPYC以 TB 为单位) | 经过存储优化的 Snowball Edge 存储容量 210 TB 设备(以 TB 为单位) |
---|---|---|---|---|
3 |
最多丢失 1 个节点 |
83 |
38 |
438 |
4 |
最多丢失 1 个节点 |
125 |
57 |
657 |
5 |
最多丢失 2 个节点 |
125 |
57 |
657 |
6 |
最多丢失 2 个节点 |
167 |
76 |
904 |
7 |
最多丢失 2 个节点 |
209 |
95 |
1096 |
8 |
最多丢失 2 个节点 |
250 |
114 |
1315 |
9 |
最多丢失 2 个节点 |
292 |
133 |
1534 |
10 |
最多丢失 2 个节点 |
334 |
152 |
1754 |
11 |
最多丢失 2 个节点 |
370 |
165 |
1970 |
12 |
最多丢失 2 个节点 |
376 |
171 |
1973 |
13 |
最多丢失 2 个节点 |
418 |
190 |
2192 |
14 |
最多丢失 2 个节点 |
459 |
209 |
2411 |
15 |
最多丢失 2 个节点 |
495 |
225 |
2625 |
16 |
最多丢失 2 个节点 |
501 |
228 |
2631 |
解锁集群后,您就可以在该集群上存储和访问数据了。您可以使用与 Amazon S3 兼容的端点从集群读取以及向其写入数据。
要从集群读取以及向其写入数据,您必须具有不超过设备集群中允许的不可用节点数量的读/写 quorum。
Snowball Edge 集群 Quorum
Quorum 表示集群中最少数量的 Snowball Edge 设备,这些设备必须相互通信以维护读/写 quorum。
当集群中的所有设备都运行正常时,您的集群就达到读/写法定人数。如果其中一两个设备脱机,则集群的运行容量就会降低。但您仍可以对集群进行读写操作。在集群中除一两台设备之外的所有设备都在运行时,集群仍具有读/写法定人数。在集群的运行容量受到影响之前可离线的节点数量可在 this table 中找到。
如果群集损失的设备数量超过中所示的设备数量,则可能会丢失 Quorom。this table当法定人数丢失时,集群将处于脱机状态,集群中的数据不可用。您可以修复此问题,否则数据可能永久丢失,具体取决于事件的严重性。如果这是临时的外部电源事件,并且您可以重新打开 Snowball Edge 设备并解锁集群中的所有节点,则您的数据将再次可用。
重要
如果健康节点的最低法定人数不存在,请联系。 AWS Support
您可以使用describe-cluster
命令查看每个节点的锁定状态和网络可访问性。使用集群存储时,您需要承担管理责任,确保集群中的设备运行正常且处于连接状态。有关更多信息,请参阅获取设备状态。
如果您确定一个或多个节点运行状况不佳,则可以替换集群中的节点以保持法定数量以及数据的健康和稳定性。有关更多信息,请参阅 替换集群中的节点。