本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
FSx for Lustre 文件系统的部署选项
Amazon FSx for Lustre 提供两个文件系统部署选项:临时和持久。
注意
这两者部署选择都支持固态硬盘(SSD)存储。但是,只有一种持久部署类型支持硬盘驱动器(HDD)存储。
在创建新文件系统时,您可以使用、 AWS Command Line Interface (AWS CLI) 或 Amazon FSx for Lustre API 选择文件系统部署类型。 AWS Management Console有关更多信息,请参阅 Amazon FSx API 参考CreateFileSystem中的第 1 步:创建你的 f FSx or Lustre 文件系统和。
无论使用何种部署类型,创建 Amazon FSx for Lustre 文件系统时,系统都会自动启用静态数据加密。从支持传输中加密的 Amazon EC2 实例访问传输中数据时,Scratch 2 和持久性文件系统会自动对传输中数据进行加密。有关加密的更多信息,请参阅在 Amazon 中对 Lustre FSx 进行数据加密。
临时文件系统
临时文件系统专为临时存储和短期数据处理而设计。如果文件服务器出现故障,则不会复制数据,也不会持久保留数据。临时文件系统提供高突增吞吐量,高达基准吞吐量(每 TiB 存储容量 200MBps)的六倍。有关更多信息,请参阅 聚合文件系统性能。
当需要对处理量繁重的短期工作负载使用成本优化的存储时,可以使用临时文件系统。
在临时文件系统上,如果文件服务器出现故障且未复制数据,则不会更换文件服务器。如果临时文件系统上的某个文件服务器或存储磁盘变得不可用,仍可以访问存储在其他服务器上的文件。如果客户端尝试访问位于不可用服务器或磁盘上的数据,则客户端会立即显示 I/O 错误。
下表示例说明了示例大小的临时文件系统在一天和一周内的预期可用性或持久性。由于更大的文件系统具有更多的文件服务器和更多的磁盘,因此发生故障的概率也会增加。
文件系统大小(TiB) | 文件服务器数量 | 一天内的可用性/持久性 | 一周内的可用性/持久性 |
---|---|---|---|
1.2 |
2 |
99.9% |
99.4% |
2.4 |
2 |
99.9% |
99.4% |
4.8 |
3 |
99.8% |
99.2% |
9.6 |
5 |
99.8% |
98.6% |
50.4 |
22 |
99.1% |
93.9% |
持久性文件系统
持久性文件系统专为长期存储和工作负载而设计。文件服务器具有高可用性,并且数据在文件系统所在的同一可用区内自动复制。附加到文件服务器的数据卷独立于所附加的文件服务器进行复制。
Amazon FSx 持续监控持久性文件系统的硬件故障,并在出现故障时自动更换基础设施组件。在持久性文件系统上,如果某个文件服务器变得不可用了,则系统会在故障发生后的几分钟内自动替换该服务器。在此期间,客户端对该服务器上的数据请求会以透明方式进行重试,并最终在更换文件服务器后成功。持久性文件系统上的数据会复制到磁盘,任何出现故障的磁盘会自动透明地进行替换。
对于长期存储以及侧重于吞吐量的工作负载,且这些工作负载将长时间运行或无限期运行,并可能对可用性中断很敏感,在这两种情况下,使用持久性文件系统。
从支持传输中加密的 Amazon EC2 实例访问传输中数据时,持久部署类型会自动对其进行加密。
Amazon FSx for Lustre 支持两种持久部署类型:Persistent_1 和 Persistent_2。
Persistent_2 部署类型
Persistent_2 是最新一代的持久部署类型,最适合需要长期存储的使用案例以及工作负载为延迟敏感型且需要最高 IOPS 和吞吐量的使用案例。与 Persistent_1 文件系统相比,Persistent_2 部署类型支持更高的单位存储吞吐量,并且每单位存储提供四个吞吐量级别:125、250、500 和 1000 MB/s/TiB。
如果您在创建 Persistent_2 文件系统时指定了元数据配置,则可以选择随着时间的推移提高元数据性能(与文件系统的存储容量无关),以满足不断增长的性能要求并支持更大的工作负载。
您可以使用 Amazon FSx 控制台和 API 创建具有元数据配置模式的 Persistent_2 文件系统。 AWS Command Line Interface
Persistent_1 部署类型
Persistent_1 部署类型可以基于 Lustre 2.10 或 2.12 而构建,并支持 SSD(固态驱动器)和 HDD(硬盘驱动器)存储类型。Persistent_1 部署类型非常适合需要长期存储的使用案例,以及工作负载侧重于吞吐量且对延迟不敏感的使用案例。
对于具有 SSD 存储的 Persistent_1 文件系统,每单位存储的吞吐量为每 TiB 50MB/s、100MB/s 或 200MB/s。对于 HDD 存储,每单位存储的 Persistent_1 吞吐量为每 TiB 12MB/s 或 40MB/s。
您只能使用和 Amazon FSx API 创建 Persistent_1 部署类型。 AWS CLI
部署类型可用性
Scratch_2、Persistent_1 和 Persistent_2 部署类型有以下几种: AWS 区域
AWS 区域 | Scratch_2 | Persistent_1 | Persistent_2 |
---|---|---|---|
美国东部(俄亥俄) |
✓ |
✓ |
✓ |
美国东部(弗吉尼亚州北部) |
✓ |
✓ |
✓ |
美国东部(亚特兰大)本地区域 |
✓ (仅限持续 125 和 250) |
||
美国西部(加利福尼亚北部) |
✓ |
✓ |
|
美国西部(洛杉矶)本地区域 |
✓ |
✓ |
|
美国西部(俄勒冈州) |
✓ |
✓ |
✓ |
非洲(开普敦) |
✓ |
✓ |
|
亚太地区(香港) |
✓ |
✓ |
✓ |
亚太地区(海得拉巴) |
✓ |
✓ |
|
亚太地区(雅加达) |
✓ |
✓ |
|
亚太地区(墨尔本) |
✓ |
✓ |
|
亚太地区(孟买) |
✓ |
✓ |
✓ |
亚太地区(大阪) |
✓ |
✓ |
|
亚太地区(首尔) |
✓ |
✓ |
✓ |
亚太地区(新加坡) |
✓ |
✓ |
✓ |
亚太地区(悉尼) |
✓ |
✓ |
✓ |
亚太地区(东京) |
✓ |
✓ |
✓ |
加拿大(中部) |
✓ |
✓ |
✓ |
加拿大西部(卡尔加里) |
✓ (仅限持续 125 和 250) |
||
欧洲地区(法兰克福) |
✓ |
✓ |
✓ |
欧洲地区(爱尔兰) |
✓ |
✓ |
✓ |
欧洲地区(伦敦) |
✓ |
✓ |
✓ |
欧洲地区(米兰) |
✓ |
✓ |
|
欧洲地区(巴黎) |
✓ |
✓ |
|
欧洲(西班牙) |
✓ |
✓ |
|
欧洲地区(斯德哥尔摩) |
✓ |
✓ |
✓ |
欧洲(苏黎世) |
✓ |
✓ |
|
以色列(特拉维夫) |
✓ |
✓ (仅限持续 125 和 250) |
|
中东(巴林) |
✓ |
✓ |
|
中东(阿联酋) |
✓ |
✓ |
|
南美洲(圣保罗) |
✓ |
✓ |
|
AWS GovCloud (美国东部) |
✓ |
✓ |
|
AWS GovCloud (美国西部) |
✓ |
✓ |