本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
SharedStorage
部分
(可选)集群的共享存储设置。
AWS ParallelCluster 支持使用 Amazon EBS、用于 ONTAP 的 FSx 和 OpenZ FS 共享存储卷的 FSX、用于Lustre 共享存储文件系统的亚马逊 EF S 和 FS X 或者文件缓存。
在 SharedStorage
部分中,您可以定义外部存储或托管存储:
-
外部存储是指您管理的现有卷或文件系统。 AWS ParallelCluster 不会创建或删除它。
-
AWS ParallelCluster 托管存储是指 AWS ParallelCluster 创建并可以删除的卷或文件系统。
有关共享存储配额以及有关配置共享存储的更多信息,请参阅使用 AWS ParallelCluster 中的共享存储。
注意
如果 AWS Batch 用作调度程序,则 FSx for Lustre 仅在群集头节点上可用。
SharedStorage: - MountDir:
string
Name:string
StorageType: Ebs EbsSettings: VolumeType:string
Iops:integer
Size:integer
Encrypted:boolean
KmsKeyId:string
SnapshotId:string
Throughput:integer
VolumeId:string
DeletionPolicy:string
Raid: Type:string
NumberOfVolumes:integer
- MountDir:string
Name:string
StorageType: Efs EfsSettings: Encrypted:boolean
KmsKeyId:string
EncryptionInTransit:boolean
IamAuthorization:boolean
PerformanceMode:string
ThroughputMode:string
ProvisionedThroughput:integer
FileSystemId:string
DeletionPolicy:string
- MountDir:string
Name:string
StorageType: FsxLustre FsxLustreSettings: StorageCapacity:integer
DeploymentType:string
ImportedFileChunkSize:integer
DataCompressionType:string
ExportPath:string
ImportPath:string
WeeklyMaintenanceStartTime:string
AutomaticBackupRetentionDays:integer
CopyTagsToBackups:boolean
DailyAutomaticBackupStartTime:string
PerUnitStorageThroughput:integer
BackupId:string
KmsKeyId:string
FileSystemId:string
AutoImportPolicy:string
DriveCacheType:string
StorageType:string
DeletionPolicy:string
DataRepositoryAssociations: - Name:string
BatchImportMetaDataOnCreate:boolean
DataRepositoryPath:string
FileSystemPath:string
ImportedFileChunkSize:integer
AutoExportPolicy:string
AutoImportPolicy:string
- MountDir:string
Name:string
StorageType: FsxOntap FsxOntapSettings: VolumeId:string
- MountDir:string
Name:string
StorageType: FsxOpenZfs FsxOpenZfsSettings: VolumeId:string
- MountDir:string
Name:string
StorageType: FileCache FileCacheSettings: FileCacheId:string
SharedStorage
更新政策
-
对于托管/外部 EBS、托管 EFS 和托管 FSx Lustre,更新策略为 更新策略:对于此列表值设置,必须停止计算实例集或必须设置 QueueUpdateStrategy 才能添加新值;删除现有值时必须停止计算实例集。
-
对于外部 EFS、FSx Lustre、fsX ONTAP、FS OpenZfs x 和文件缓存,更新策略是,更新策略:可以在更新期间更改此设置。
SharedStorage
属性
MountDir
(必需,String
)-
共享存储的挂载路径。
Name
(必需,String
)-
共享存储的名称。可以在更新设置时使用此名称。
警告
如果您指定了 AWS ParallelCluster 托管共享存储,并且更改了的值
Name
,则会删除现有的托管共享存储空间和数据,并创建新的托管共享存储。通过集群更新来更改Name
的值等同于用新的托管共享存储替换现有的托管共享存储。如果您需要保留现有共享存储中的数据,请确保在更改Name
之前备份数据。更新策略:对于此列表值设置,必须停止计算实例集或必须设置 QueueUpdateStrategy 才能添加新值;删除现有值时必须停止计算实例集。
StorageType
(必需,String
)-
共享存储的类型。支持的值为
Ebs
、Efs
、FsxLustre
、FsxOntap
和FsxOpenZfs
。有关更多信息,请参阅 FsxLustreSettings、FsxOntapSettings 和 FsxOpenZfsSettings。
注意
如果您 AWS Batch 用作调度程序,则 FSx for Lustre 仅在群集头节点上可用。
EbsSettings
(可选)Amazon EBS 卷的设置。
EbsSettings: VolumeType:
string
Iops:integer
Size:integer
Encrypted:boolean
KmsKeyId:string
SnapshotId:string
VolumeId:string
Throughput:integer
DeletionPolicy:string
Raid: Type:string
NumberOfVolumes:integer
EbsSettings
属性
当设置DeletionPolicy为时Delete
,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。
有关更多信息,请参阅使用 AWS ParallelCluster 中的共享存储。
VolumeType
(可选,String
)-
指定 Amazon EBS 卷类型。支持的值为
gp2
、gp3
、io1
、io2
、sc1
、st1
和standard
。默认值为gp3
。有关更多信息,请参阅《Amazon EC2 用户指南》中的 Amazon EBS 卷类型。
Iops
(可选,Integer
)-
定义
io1
、io2
和gp3
类型卷的 IOPS 数。默认值、支持的值以及
volume_size
/volume_iops
比率因VolumeType
和Size
而异。VolumeType
=io1
-
默认值:
Iops
= 100支持的值:
Iops
= 100–64000 †最大
volume_iops
/volume_size
比率 = 50 IOPS/GiB。5000 IOPS 需要至少 100 GiB 的volume_size
。 VolumeType
=io2
-
默认值:
Iops
= 100支持的值:
Iops
= 100–64000(io2
Block Express 卷为 256000)†最大
Iops
/Size
比率 = 500 IOPS/GiB。5000 IOPS 需要至少 10 GiB 的Size
。 VolumeType
=gp3
-
默认值:
Iops
= 3000支持的值:
Iops
= 3000–16000最大
Iops
/Size
比率 = 500 IOPS/GiB。5000 IOPS 需要至少 10 GiB 的Size
。
† 只有在 Nitro System 上构建的实例配置超过 32000 IOPS 时,才能保证最大 IOPS。其他实例保证最高为 32000 IOPS。除非您修改卷,否则较早的
io1
卷可能无法实现完全性能。io2
Block Express 卷在R5b
实例类型上支持高达 256000 的volume_iops
值。有关更多信息,请参阅 Amazon EC2 用户指南中的io2
阻止 Express 卷。 Size
(可选,Integer
)-
指定卷大小,以吉字节 (GiB) 为单位。默认值为 35。
Encrypted
(可选,Boolean
)-
指定是否对卷进行加密。默认值为
true
。 KmsKeyId
(可选,String
)-
指定用于加密的自定义 AWS KMS 密钥。此设置要求将
Encrypted
设置设为true
。 SnapshotId
(可选,String
)-
指定 Amazon EBS 快照 ID(如果使用快照作为卷的来源)。
VolumeId
(可选,String
)-
指定 Amazon EBS 卷 ID。为
EbsSettings
实例指定此参数后,还可以并且只能指定MountDir
参数。必须在
HeadNode
所在的同一可用区中创建卷。注意
3.4.0 AWS ParallelCluster 版本中添加了多个可用区。
Throughput
(可选,Integer
)-
为卷预置的吞吐量,以 MiB/s 为单位,最大值为 1000 MiB/s。
此设置仅在
VolumeType
为gp3
时有效。支持的范围为 125 到 1000,默认值为 125。 DeletionPolicy
(可选,String
)-
指定删除集群或删除卷时是保留卷、删除卷还是创建快照。支持的值为
Delete
、Retain
和Snapshot
。默认值为Delete
。当DeletionPolicy设置为时
Delete
,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。有关更多信息,请参阅 共享存储。
注意
DeletionPolicy
从 3.2.0 AWS ParallelCluster 版开始受支持。
Raid
(可选)定义 RAID 卷的配置。
Raid: Type:
string
NumberOfVolumes:integer
Raid
属性
Type
(必需,String
)-
定义 RAID 阵列的类型。支持的值为“0”(条带)和“1”(镜像)。
NumberOfVolumes
(可选,Integer
)-
定义用于创建 RAID 阵列的 Amazon EBS 卷的数量。支持的值范围为 2-5。默认值(定义了
Raid
设置时)为 2。
EfsSettings
(可选)Amazon EFS 文件系统的设置。
EfsSettings: Encrypted:
boolean
KmsKeyId:string
EncryptionInTransit:boolean
IamAuthorization:boolean
PerformanceMode:string
ThroughputMode:string
ProvisionedThroughput:integer
FileSystemId:string
DeletionPolicy:string
EfsSettings
属性
当DeletionPolicy设置为时Delete
,如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。
有关更多信息,请参阅使用 AWS ParallelCluster 中的共享存储。
Encrypted
(可选,Boolean
)-
指定是否对 Amazon EFS 文件系统加密。默认值为
false
。 KmsKeyId
(可选,String
)-
指定用于加密的自定义 AWS KMS 密钥。此设置要求将
Encrypted
设置设为true
。 EncryptionInTransit
(可选,Boolean
)-
如果设置为
true
,则使用传输层安全性协议 (TLS) 挂载 Amazon EFS 文件系统。默认情况下,该选项设置为false
。注意
AWS Batch 如果用作调度程序,则
EncryptionInTransit
不支持。注意
从 AWS ParallelCluster 版本 3.4.0 开始添加了
EncryptionInTransit
。 IamAuthorization
(可选,Boolean
)-
如果设置为
true
,则使用系统的 IAM 身份对 Amazon EFS 进行身份验证。默认情况下,该选项设置为false
。注意
如果
IamAuthorization
被设置为true
,则EncryptionInTransit
也必须被设置为true
。注意
AWS Batch 如果用作调度程序,则
IamAuthorization
不支持。注意
IamAuthorization
是从 3.4.0 AWS ParallelCluster 版本开始添加的。 PerformanceMode
(可选,String
)-
指定 Amazon EFS 文件系统的性能模式。支持的值为
generalPurpose
和maxIO
。默认值为generalPurpose
。有关更多信息,请参阅 Amazon Elastic File System User Guide 中的 Performance modes。对于大多数文件系统,我们推荐使用
generalPurpose
性能模式。使用
maxIO
性能模式的文件系统可以扩展到更高级别的聚合吞吐量和每秒操作数。但是,对于大多数文件操作来说,代价是稍高的延迟。 ThroughputMode
(可选,String
)-
指定 Amazon EFS 文件系统的吞吐量模式。支持的值为
bursting
和provisioned
。默认值为bursting
。使用provisioned
时,必须指定ProvisionedThroughput
。 ProvisionedThroughput
(ThroughputMode
为provisioned
时必需,Integer
)-
定义 Amazon EFS 文件系统的预置吞吐量,以 MiB/s 为单位。这与《亚马逊 EFS API 参考》中的ProvisionedThroughputInMibps参数相对应。
如果您使用了此参数,则必须将
ThroughputMode
设置为provisioned
。支持的范围是
1
-1024
。要请求提高限制,请联系 AWS Support。 FileSystemId
(可选,String
)-
为现有文件系统定义 Amazon EFS 文件系统 ID。
如果集群配置为跨越多个可用区,则必须在集群使用的每个可用区中定义一个文件系统挂载目标。
指定了此参数时,只能指定
MountDir
。不能指定其他EfsSettings
。如果设置此选项,则定义的文件系统必须符合以下要求:
-
文件系统必须在集群的每个可用区中具有现有的挂载目标,允许来自
HeadNode
和ComputeNodes
的入站和出站 NFS 流量。在调度//网络 SlurmQueues/中配置了多个可用区SubnetIds。为确保允许集群和文件系统之间的流量,您可以执行以下操作之一:
-
配置挂载目标的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。
-
警告
OneZone 只有当所有计算节点和头节点都位于同一个可用区时,才支持 EFS。EFS OneZone 只能有一个挂载目标。
注意
3.4.0 AWS ParallelCluster 版本中添加了多个可用区。
-
DeletionPolicy
(可选,String
)-
指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是
Delete
和Retain
。默认值为Delete
。如果设置DeletionPolicy为
Delete
,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。有关更多信息,请参阅 共享存储。
注意
DeletionPolicy
从 3.3.0 AWS ParallelCluster 版开始受支持。
FsxLustreSettings
注意
如果为 StorageType 指定了 FsxLustre
,则必须定义 FsxLustreSettings
。
(可选)FSx for Lustre 文件系统的设置。
FsxLustreSettings: StorageCapacity:
integer
DeploymentType:string
ImportedFileChunkSize:integer
DataCompressionType:string
ExportPath:string
ImportPath:string
WeeklyMaintenanceStartTime:string
AutomaticBackupRetentionDays:integer
CopyTagsToBackups:boolean
DailyAutomaticBackupStartTime:string
PerUnitStorageThroughput:integer
BackupId:string
# BackupId cannot coexist with some of the fields KmsKeyId:string
FileSystemId:string
# FileSystemId cannot coexist with other fields AutoImportPolicy:string
DriveCacheType:string
StorageType:string
DeletionPolicy:string
注意
如果 AWS Batch 用作调度程序,则 FSx for Lustre 仅在群集头节点上可用。
FsxLustreSettings
属性
如果设置DeletionPolicy为Delete
,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。
有关更多信息,请参阅 共享存储。
StorageCapacity
(必需,Integer
)-
设置 FSx for Lustre 文件系统的存储容量,以 GiB 为单位。如果要创建新的文件系统,则
StorageCapacity
是必需的。如果指定了BackupId
或FileSystemId
,则不要包含StorageCapacity
。-
对于
SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
部署类型,有效值为 1200 GiB、2400 GiB,并以 2400 GiB 为增量。 -
对于
SCRATCH_1
部署类型,有效值为 1200 GiB、2400 GiB,并以 3600 GiB 为增量。
-
DeploymentType
(可选,String
)-
指定 FSx for Lustre 文件系统的部署类型。支持的值有
SCRATCH_1
、SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
。默认值为SCRATCH_2
。当您需要临时存储和短期处理数据时,请选择
SCRATCH_1
和SCRATCH_2
部署类型。SCRATCH_2
部署类型提供了数据的传输中加密,以及比SCRATCH_1
更高的突发吞吐能力。对于长期存储以及侧重于吞吐量的延迟不敏感型工作负载,请选择
PERSISTENT_1
部署类型。PERSISTENT_1
支持传输中数据加密。它在所有可用 FSx for Lustre AWS 区域 的地方都可用。对于长期存储以及需要最高级别的 IOPS 和吞吐量的延迟敏感型工作负载,请选择
PERSISTENT_2
部署类型。PERSISTENT_2
支持 SSD 存储,并提供更高的PerUnitStorageThroughput
(最高达到 1000 MB/s/TiB)。PERSISTENT_2
适用于有限数量的 AWS 区域。有关部署类型和可用 AWS 区域 位置PERSISTENT_2
列表的更多信息,请参阅《Amazon FSx for Lustre 用户指南》中的 FSx for Lustre 文件系统部署选项。当您从支持此功能的 Amazon EC2 实例访问
SCRATCH_2
、PERSISTENT_1
或PERSISTENT_2
部署类型文件系统时,系统会自动启用传输中数据加密功能。从受支持的 AWS 区域中受支持的实例类型进行访问时,支持
SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
部署类型的传输中数据加密。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的加密传输中数据。注意
从 AWS ParallelCluster 版本 3.2.0 开始添加了对
PERSISTENT_2
部署类型的支持。 ImportedFileChunkSize
(可选,Integer
)-
对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。
默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。
注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶。 DataCompressionType
(可选,String
)-
设置 FSx for Lustre 文件系统的数据压缩配置。支持的值为
LZ4
。LZ4
指示使用 LZ4 算法开启数据压缩。如果未指定DataCompressionType
,则在创建文件系统时关闭数据压缩。有关更多信息,请参阅 Lustre 数据压缩。
ExportPath
(可选,String
)-
在其中导出 FSx for Lustre 文件系统的根的 Amazon S3 路径。仅当指定了
ImportPath
参数时支持此设置。该路径必须使用在ImportPath
中指定的相同 Amazon S3 存储桶。您可以为将从您的 FSx for Lustre 文件系统导出的新数据和更改数据提供可选前缀。如果未提供ExportPath
值,FSx for Lustre 会设置默认导出路径s3://import-bucket/FSxLustre[creation-timestamp]
。此时间戳采用 UTC 格式,例如s3://import-bucket/FSxLustre20181105T222312Z
。Amazon S3 导出桶必须与
ImportPath
指定的导入桶相同。如果仅指定存储桶名称(例如s3://import-bucket
),则会获得文件系统对象与 Amazon S3 存储桶对象的 1:1 映射。此映射意味着 Amazon S3 中的输入数据会在导出时被覆盖。如果在导出路径中提供自定义前缀(例如s3://import-bucket/[custom-optional-prefix]
),FSx for Lustre 会将文件系统的内容导出到使用 Amazon S3 存储桶中的导出前缀的路径。注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。按照适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶,配置数据存储库关联。 ImportPath
(可选,String
)-
用作 FSx for Lustre 文件系统数据存储库的 Amazon S3 存储桶的路径(包括可选前缀)。FSx for Lustre 文件系统的根目录将映射到您选择的 Amazon S3 桶的根目录。例如,
s3://import-bucket/optional-prefix
。如果您在 Amazon S3 名称后指定了前缀,则只将具有该前缀的对象键加载到文件系统。注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。按照适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶,配置数据存储库关联。 WeeklyMaintenanceStartTime
(可选,String
)-
执行每周维护的首选开始时间。它采用 UTC+0 时区的
"d:HH:MM"
格式。对于此格式,d
是从 1 到 7 的星期几数字,从星期一开始,以星期日结束。此字段必须使用引号。 AutomaticBackupRetentionDays
(可选,Integer
)-
保留自动备份的天数。将此值设置为 0 将禁用自动备份。支持的范围是 0-90。默认值是 0。此设置仅在与
PERSISTENT_1
和PERSISTENT_2
部署类型一起使用时有效。有关更多信息,请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的使用备份。 CopyTagsToBackups
(可选,Boolean
)-
如果为
true
,则将 FSx for Lustre 文件系统的标签复制到备份中。此值默认为false
。如果设置为true
,则会将文件系统的所有标签复制到用户未指定标签的所有自动和用户启动的备份。如果此值为true
,并且指定了一个或多个标签,则仅将指定的标签复制到备份。如果您在创建用户启动的备份时指定了一个或多个标签,则不会从文件系统复制任何标签,无论此值如何。此设置仅在与PERSISTENT_1
和PERSISTENT_2
部署类型一起使用时有效。 DailyAutomaticBackupStartTime
(可选,String
)-
每天重复的时间,格式为
HH:MM
。HH
是一天中的零填充小时 (00-23)。MM
是小时中的零填充分钟 (00-59)。例如,05:00
指定每天上午 5 点。此设置仅在与PERSISTENT_1
和PERSISTENT_2
部署类型一起使用时有效。 PerUnitStorageThroughput
(对PERSISTENT_1
和PERSISTENT_2
部署类型为必需,Integer
)-
描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐能力是将通过文件系统存储容量(TiB)乘以
PerUnitStorageThroughput
(MB/s/TiB)计算得出的。对于 2.4 TiB 文件系统,预置 50 MB/s/TiB 的PerUnitStorageThroughput
将得到 120 MB/s 的文件系统吞吐量。您需要为预置的吞吐量付费。这与PerUnitStorageThroughput属性相对应。有效值:
-
PERSISTENT_1 SSD 存储:50、100、200 MB/s/TiB。
-
PERSISTENT_1 HDD 存储:12、40 MB/s/TiB。
-
PERSISTENT_2 SSD 存储:125、250、500、1000 MB/s/TiB。
-
BackupId
(可选,String
)-
指定用于从现有备份还原 FSx for Lustre 文件系统的备份 ID。指定了
BackupId
设置时,不得指定AutoImportPolicy
、DeploymentType
、ExportPath
、KmsKeyId
、ImportPath
、ImportedFileChunkSize
、StorageCapacity
和PerUnitStorageThroughput
设置。这些设置将从备份中读取。此外,不得指定AutoImportPolicy
、ExportPath
、ImportPath
和ImportedFileChunkSize
设置。这与BackupId属性相对应。 KmsKeyId
(可选,String
)-
AWS Key Management Service (AWS KMS) 密钥 ID 的 ID,用于加密 FSx for Lustre 文件系统的数据,用于静态的 Lustre 文件系统的永久 FSx 数据。如果未指定,则使用 FSx for Lustre 托管密钥。
SCRATCH_1
和SCRATCH_2
FSx for Lustre 文件系统始终使用 FSx for Lustre 托管密钥进行静态加密。有关更多信息,请参阅 AWS Key Management Service API 参考 中的 Encrypt。 FileSystemId
(可选,String
)-
指定现有 FSx for Lustre 文件系统的 ID。
如果指定了此选项,则仅使用
FsxLustreSettings
中的MountDir
和FileSystemId
设置。FsxLustreSettings
中的所有其他设置都将被忽略。注意
如果使用 AWS Batch 调度器,则 FSx for Lustre 仅在头节点上可用。
注意
该文件系统必须关联到通过端口 988、1021、1022 和 1023 允许入站和出站 TCP 流量的安全组。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。
-
AutoImportPolicy
(可选,String
)-
创建 FSx for Lustre 文件系统时,现有 Amazon S3 对象将显示为文件和目录列表。使用此属性可以选择 FSx for Lustre 如何在链接的 Amazon S3 存储桶中添加或修改对象时使您的文件和目录列表保持最新状态。
AutoImportPolicy
可以具有以下值:-
NEW
:自动导入开启。FSx for Lustre 会自动导入添加到链接 Amazon S3 存储桶中但当前不存在于 FSx for Lustre 文件系统中的任何新对象的目录列表。 -
NEW_CHANGED
:自动导入开启。在您选择此选项后,FSx for Lustre 会自动导入添加到 Amazon S3 桶的任何新对象的文件和目录列表,以及在 Amazon S3 桶中更改的任何现有对象。 -
NEW_CHANGED_DELETED
:自动导入开启。选择此选项后,FSx for Lustre 会自动导入添加到 Amazon S3 桶的任何新对象、在 Amazon S3 桶中更改的任何现有对象,以及在 Amazon S3 桶中被删除的任何对象的文件和目录列表。注意
在 AWS ParallelCluster 版本 3.1.1 中添加了对
NEW_CHANGED_DELETED
的支持。
如果未指定
AutoImportPolicy
,则关闭自动导入。FSx for Lustre 仅在创建文件系统时更新链接的 Amazon S3 桶中的文件和目录列表。选择此选项后,FSx for Lustre 不会更新任何新对象或更改对象的文件和目录列表。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的自动从 S3 桶导入更新。
注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶。 -
DriveCacheType
(可选,String
)-
指定文件系统具有 SSD 驱动器缓存。只有将
StorageType
设置设为HDD
,且将DeploymentType
设置设为PERSISTENT_1
,才能设置此选项。这与DriveCacheType属性相对应。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的 FSx for Lustre 部署选项。唯一有效值为
READ
。要禁用 SSD 驱动器缓存,请不要指定DriveCacheType
设置。 StorageType
(可选,String
)-
设置要创建的 FSx for Lustre 文件系统的存储类型。有效值为
SSD
和HDD
。-
设置为
SSD
以使用固态驱动器存储。 -
设置为
HDD
以使用硬盘驱动器存储。PERSISTENT
部署类型支持HDD
。
默认值为
SSD
。有关更多信息,请参阅适用于 Windows 的 Amazon FSx 用户指南 中的存储类型选项和适用于 Lustre 的 Amazon FSx 用户指南 中的多存储选项。 -
DeletionPolicy
(可选,String
)-
指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是
Delete
和Retain
。默认值为Delete
。如果设置DeletionPolicy为
Delete
,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。有关更多信息,请参阅 共享存储。
注意
DeletionPolicy
从 3.3.0 AWS ParallelCluster 版开始受支持。 DataRepositoryAssociations
(可选,String
)-
DRA 列表(每个文件系统最多 8 个)
每个数据存储库关联都必须具有唯一的 Amazon FSx 文件系统目录以及与之关联的唯一 S3 存储桶或前缀。
不能ImportPath在使用 DR FsxLustreSettings A 的同时使用ExportPath和。
Name
(必需,String
)-
DRA 的名称。可以在更新设置时使用此名称。
BatchImportMetaDataOnCreate
(可选,Boolean
)-
一种布尔标志,指示是否应在创建数据存储库关联后运行用于导入元数据的导入数据存储库任务。如果将此标志设置为
true
,则该任务将运行。默认值:
false
DataRepositoryPath
(必需,String
)-
要链接到文件系统的 Amazon S3 数据存储库的路径。该路径可以是 S3 存储桶或格式
s3://myBucket/myPrefix/
的前缀。此路径指定 S3 数据存储库文件将从中导入或导出到的位置。不能与其他 DRA 重叠
模式:
^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$
最低:
3
最高:
4357
FileSystemPath
(必需,String
)-
Amazon FSx for Lustre 文件系统上的路径,指向将与
DataRepositoryPath
1-1 映射的高级目录(如/ns1/
)或子目录(如/ns1/subdir/
)。名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如,如果数据存储库与文件系统路径/ns1/
相关联,则您无法将另一个数据存储库与文件系统路径/ns1/ns2
相关联。此路径指定文件将在您的文件系统中的哪个位置导出或导入到哪个位置。只能将此文件系统目录链接到一个 Amazon S3 桶,而不能将其他 S3 桶链接到该目录。
不能与其他 DRA 重叠
注意
如果您仅指定正斜杠 (
/
) 作为文件系统路径,则只能将一个数据存储库链接到文件系统。您只能指定 “/
” 作为与文件系统关联的第一个数据存储库的文件系统路径。模式:
^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$
最低:
1
最高:
4096
ImportedFileChunkSize
(可选,Integer
)-
对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统或缓存的总磁盘数限制。
默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。
最低:
1
最高:
4096
AutoExportPolicy
(可选,Array of strings
)-
该列表可以包含以下一个或多个值:
-
NEW
- 新文件和目录将在添加到文件系统时自动导出到数据存储库。 -
CHANGED
- 对文件系统上的文件和目录所做的更改将自动导出到数据存储库。 -
DELETED
- 在文件系统上删除文件和目录后,将在数据存储库中自动删除这些文件和目录。
您可以为您的
AutoExportPolicy
定义事件类型的任意组合。最高:
3
-
AutoImportPolicy
(可选,Array of strings
)-
该列表可以包含以下一个或多个值:
-
NEW
- Amazon FSx 将自动导入添加到已链接的 S3 桶中但当前不存在于 FSx 文件系统中的文件的元数据。 -
CHANGED
- 当数据存储库中的文件发生更改时,Amazon FSx 将自动更新文件元数据,并使文件系统中的现有文件内容无效。 -
DELETED
- Amazon FSx 将在数据存储库中删除相应文件时自动删除文件系统中的文件。
您可以为您的
AutoImportPolicy
定义事件类型的任意组合。最高:
3
-
FsxOntapSettings
注意
如果为 StorageType 指定了 FsxOntap
,则必须定义 FsxOntapSettings
。
(可选)适用于 ONTAP 的 FSx 文件系统的设置。
FsxOntapSettings: VolumeId:
string
FsxOntapSettings
属性
VolumeId
(必需,String
)-
指定现有适用于 ONTAP 的 FSx 系统的卷 ID。
注意
-
如果使用 AWS Batch 调度程序,则适用于 ONTAP 的 FSx 仅在头节点上可用。
-
如果适用于 ONTAP 的 FSx 部署类型为
Multi-AZ
,请确保正确配置头节点子网的路由表。 -
版本 3.2.0 中增加了对 ONTAP 的 FSx 的 AWS ParallelCluster 支持。
-
该文件系统必须关联到通过端口 111、635、2049 和 4046 允许入站和出站 TCP 和 UDP 流量的安全组。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。
FsxOpenZfsSettings
注意
如果为 StorageType 指定了 FsxOpenZfs
,则必须定义 FsxOpenZfsSettings
。
(可选)适用于 OpenZFS 的 FSx 文件系统的设置。
FsxOpenZfsSettings: VolumeId:
string
FsxOpenZfsSettings
属性
VolumeId
(必需,String
)-
指定现有适用于 OpenZFS 的 FSx 系统的卷 ID。
注意
-
如果使用 AWS Batch 调度程序,则适用于 OpenZFS 的 FSx 仅在头节点上可用。
-
3.2.0 版本中增加了对 OpenZFS 版 FSX 的支持。 AWS ParallelCluster
-
该文件系统必须关联到通过端口 111、2049、20001、20002 和 20003 允许入站和出站 TCP 和 UDP 流量的安全组。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。
FileCacheSettings
注意
如果为 StorageType 指定了 FileCache
,则必须定义 FileCacheSettings
。
(可选)文件缓存的设置。
FileCacheSettings: FileCacheId:
string
FileCacheSettings
属性
FileCacheId
(必需,String
)-
指定现有文件缓存的文件缓存 ID。
注意
-
文件缓存不支持 AWS Batch 调度程序。
-
3.7.0 AWS ParallelCluster 版本中增加了对文件缓存的支持。
-
该文件系统必须关联到通过端口 988 允许入站和出站 TCP 流量的安全组。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件缓存的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。