本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
SharedStorage
部分
(可选)集群的共享存储设置。
AWS ParallelCluster 支持使用 Amazon EBS、FSx ONTAP 和 FSx OpenZFS 共享存储卷、Amazon EFS 和 FSx Lustre 共享存储文件系统或文件缓存。
在 SharedStorage
部分中,您可以定义外部存储或托管存储:
-
外部存储是指您管理的现有卷或文件系统。 AWS ParallelCluster 不会创建或删除它。
-
AWS ParallelCluster 托管存储是指 AWS ParallelCluster 创建并可以删除的卷或文件系统。
有关共享存储配额以及有关配置共享存储的更多信息,请参阅使用 AWS ParallelCluster 中的共享存储。
注意
如果 AWS Batch 用作调度程序, FSx 则 Lustre 仅在群集头节点上可用。
SharedStorage:
- MountDir: string
Name: string
StorageType: Ebs
EbsSettings:
VolumeType: string
Iops: integer
Size: integer
Encrypted: boolean
KmsKeyId: string
SnapshotId: string
Throughput: integer
VolumeId: string
DeletionPolicy: string
Raid:
Type: string
NumberOfVolumes: integer
- MountDir: string
Name: string
StorageType: Efs
EfsSettings:
Encrypted: boolean
KmsKeyId: string
EncryptionInTransit: boolean
IamAuthorization: boolean
PerformanceMode: string
ThroughputMode: string
ProvisionedThroughput: integer
FileSystemId: string
DeletionPolicy: string
AccessPointId: string
- MountDir: string
Name: string
StorageType: FsxLustre
FsxLustreSettings:
StorageCapacity: integer
DeploymentType: string
ImportedFileChunkSize: integer
DataCompressionType: string
ExportPath: string
ImportPath: string
WeeklyMaintenanceStartTime: string
AutomaticBackupRetentionDays: integer
CopyTagsToBackups: boolean
DailyAutomaticBackupStartTime: string
PerUnitStorageThroughput: integer
BackupId: string
KmsKeyId: string
FileSystemId: string
AutoImportPolicy: string
DriveCacheType: string
StorageType: string
DeletionPolicy: string
DataRepositoryAssociations:
- Name: string
BatchImportMetaDataOnCreate: boolean
DataRepositoryPath: string
FileSystemPath: string
ImportedFileChunkSize: integer
AutoExportPolicy: string
AutoImportPolicy: string
- MountDir: string
Name: string
StorageType: FsxOntap
FsxOntapSettings:
VolumeId: string
- MountDir: string
Name: string
StorageType: FsxOpenZfs
FsxOpenZfsSettings:
VolumeId: string
- MountDir: string
Name: string
StorageType: FileCache
FileCacheSettings:
FileCacheId: string
SharedStorage
更新策略
-
对于托管/外部 EBS、托管 EFS 和托管 FSx Lustre,更新策略为 更新策略:对于此列表值设置,必须停止计算实例集或必须设置 QueueUpdateStrategy 才能添加新值;删除现有值时必须停止计算实例集。
-
对于外部 EFS、 FSx Lustre、 FSx ONTAP FSx OpenZfs 和文件缓存,更新策略为 更新策略:可以在更新期间更改此设置。
SharedStorage
属性
MountDir
(必需,String
)-
共享存储的挂载路径。
Name
(必需,String
)-
共享存储的名称。可以在更新设置时使用此名称。
警告
如果您指定了 AWS ParallelCluster 托管共享存储,并且更改了的值
Name
,则会删除现有的托管共享存储和数据,并创建新的托管共享存储。通过集群更新来更改Name
的值等同于用新的托管共享存储替换现有的托管共享存储。如果您需要保留现有共享存储中的数据,请确保在更改Name
之前备份数据。更新策略:对于此列表值设置,必须停止计算实例集或必须设置 QueueUpdateStrategy 才能添加新值;删除现有值时必须停止计算实例集。
StorageType
(必需,String
)-
共享存储的类型。支持的值为
Ebs
、Efs
、FsxLustre
、FsxOntap
和FsxOpenZfs
。有关更多信息,请参阅FsxLustreSettings、FsxOntapSettings和FsxOpenZfsSettings。
注意
如果您 AWS Batch 用作调度程序, FSx 则 Lustre 仅在群集头节点上可用。
EbsSettings
(可选)Amazon EBS 卷的设置。
EbsSettings:
VolumeType: string
Iops: integer
Size: integer
Encrypted: boolean
KmsKeyId: string
SnapshotId: string
VolumeId: string
Throughput: integer
DeletionPolicy: string
Raid:
Type: string
NumberOfVolumes: integer
EbsSettings
属性
当设置DeletionPolicy为时Delete
,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。
有关更多信息,请参阅使用 AWS ParallelCluster 中的共享存储。
VolumeType
(可选,String
)-
指定 Amazon EBS 卷类型。支持的值为
gp2
、gp3
、io1
、io2
、sc1
、st1
和standard
。默认值为gp3
。有关更多信息,请参阅《亚马逊 EC2 用户指南》中的 Amaz on EBS 卷类型。
Iops
(可选,Integer
)-
定义
io1
、io2
和gp3
类型卷的 IOPS 数。默认值、支持的值以及
volume_size
/volume_iops
比率因VolumeType
和Size
而异。VolumeType
=io1
-
默认值:
Iops
= 100支持的值:
Iops
= 100–64000 †最大
volume_iops
/volume_size
比率 = 50 IOPS/GiB。5000 IOPS 需要至少 100 GiB 的volume_size
。 VolumeType
=io2
-
默认值:
Iops
= 100支持的值:
Iops
= 100–64000(io2
Block Express 卷为 256000)†最大
Iops
/Size
比率 = 500 IOPS/GiB。5000 IOPS 需要至少 10 GiB 的Size
。 VolumeType
=gp3
-
默认值:
Iops
= 3000支持的值:
Iops
= 3000–16000最大
Iops
/Size
比率 = 500 IOPS/GiB。5000 IOPS 需要至少 10 GiB 的Size
。
† 只有在 Nitro System 上构建的实例配置超过 32000 IOPS 时,才能保证最大 IOPS。其他实例保证最高为 32000 IOPS。除非您修改卷,否则较早的
io1
卷可能无法实现完全性能。io2
Block Express 卷在R5b
实例类型上支持高达 256000 的volume_iops
值。有关更多信息,请参阅《亚马逊 EC2 用户指南》中的 “io2
屏蔽 Express 卷”。 Size
(可选,Integer
)-
指定卷大小,以吉字节 (GiB) 为单位。默认值为 35。
Encrypted
(可选,Boolean
)-
指定是否对卷进行加密。默认值为
true
。 KmsKeyId
(可选,String
)-
指定用于加密的自定义 AWS KMS 密钥。此设置要求将
Encrypted
设置设为true
。 SnapshotId
(可选,String
)-
指定 Amazon EBS 快照 ID(如果使用快照作为卷的来源)。
VolumeId
(可选,String
)-
指定 Amazon EBS 卷 ID。为
EbsSettings
实例指定此参数后,还可以并且只能指定MountDir
参数。必须在
HeadNode
所在的同一可用区中创建卷。注意
3.4.0 AWS ParallelCluster 版本中添加了多个可用区。
Throughput
(可选,Integer
)-
吞吐量,在MiB/s to provision for a volume, with a maximum of 1,000 MiB/s。
此设置仅在
VolumeType
为gp3
时有效。支持的范围为 125 到 1000,默认值为 125。 DeletionPolicy
(可选,String
)-
指定删除集群或删除卷时是保留卷、删除卷还是创建快照。支持的值为
Delete
、Retain
和Snapshot
。默认值为Delete
。当DeletionPolicy设置为时
Delete
,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。有关更多信息,请参阅 共享存储。
注意
DeletionPolicy
从 3.2.0 AWS ParallelCluster 版开始受支持。
Raid
(可选)定义 RAID 卷的配置。
Raid:
Type: string
NumberOfVolumes: integer
Raid
属性
Type
(必需,String
)-
定义 RAID 阵列的类型。支持的值为“0”(条带)和“1”(镜像)。
NumberOfVolumes
(可选,Integer
)-
定义用于创建 RAID 阵列的 Amazon EBS 卷的数量。支持的值范围为 2-5。默认值(定义了
Raid
设置时)为 2。
EfsSettings
(可选)Amazon EFS 文件系统的设置。
EfsSettings:
Encrypted: boolean
KmsKeyId: string
EncryptionInTransit: boolean
IamAuthorization: boolean
PerformanceMode: string
ThroughputMode: string
ProvisionedThroughput: integer
FileSystemId: string
DeletionPolicy: string
AccessPointId: string
EfsSettings
属性
当DeletionPolicy设置为时Delete
,如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。
有关更多信息,请参阅使用 AWS ParallelCluster 中的共享存储。
Encrypted
(可选,Boolean
)-
指定是否对 Amazon EFS 文件系统加密。默认值为
false
。 KmsKeyId
(可选,String
)-
指定用于加密的自定义 AWS KMS 密钥。此设置要求将
Encrypted
设置设为true
。 EncryptionInTransit
(可选,Boolean
)-
如果设置为
true
,则使用传输层安全性协议 (TLS) 挂载 Amazon EFS 文件系统。默认情况下,该选项设置为false
。注意
AWS Batch 如果用作调度程序,则
EncryptionInTransit
不支持。注意
从 AWS ParallelCluster 版本 3.4.0 开始添加了
EncryptionInTransit
。 IamAuthorization
(可选,Boolean
)-
IamAuthorization
是从 3.4.0 AWS ParallelCluster 版本开始添加的。如果设置为
true
,则使用系统的 IAM 身份对 Amazon EFS 进行身份验证。默认情况下,该选项设置为false
。注意
如果
IamAuthorization
被设置为true
,则EncryptionInTransit
也必须被设置为true
。注意
AWS Batch 如果用作调度程序,则
IamAuthorization
不支持。 PerformanceMode
(可选,String
)-
指定 Amazon EFS 文件系统的性能模式。支持的值为
generalPurpose
和maxIO
。默认值为generalPurpose
。有关更多信息,请参阅 Amazon Elastic File System User Guide 中的 Performance modes。对于大多数文件系统,我们推荐使用
generalPurpose
性能模式。使用
maxIO
性能模式的文件系统可以扩展到更高级别的聚合吞吐量和每秒操作数。但是,对于大多数文件操作来说,代价是稍高的延迟。 ThroughputMode
(可选,String
)-
指定 Amazon EFS 文件系统的吞吐量模式。支持的值为
bursting
和provisioned
。默认值为bursting
。使用provisioned
时,必须指定ProvisionedThroughput
。 ProvisionedThroughput
(ThroughputMode
为provisioned
时必需,Integer
)-
定义预配置的吞吐量(在。MiB/s) of the Amazon EFS file system, measured in MiB/s这与《亚马逊 EFS API 参考》中的ProvisionedThroughputInMibps参数相对应。
如果您使用了此参数,则必须将
ThroughputMode
设置为provisioned
。支持的范围是
1
-1024
。要请求提高限制,请联系 支持。 FileSystemId
(可选,String
)-
为现有文件系统定义 Amazon EFS 文件系统 ID。
如果集群配置为跨越多个可用区,则必须在集群使用的每个可用区中定义一个文件系统挂载目标。
指定了此参数时,只能指定
MountDir
。不能指定其他EfsSettings
。如果设置此选项,则定义的文件系统必须符合以下要求:
-
文件系统必须在集群的每个可用区中具有现有的挂载目标,允许来自
HeadNode
和ComputeNodes
的入站和出站 NFS 流量。在调度//网络 SlurmQueues/中配置了多个可用区SubnetIds。为确保允许集群和文件系统之间的流量,您可以执行以下操作之一:
-
配置挂载目标的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。
-
警告
OneZone 只有当所有计算节点和头节点都位于同一个可用区时,才支持 EFS。EFS OneZone 只能有一个挂载目标。
注意
3.4.0 AWS ParallelCluster 版本中添加了多个可用区。
-
DeletionPolicy
(可选,String
)-
指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是
Delete
和Retain
。默认值为Delete
。如果设置DeletionPolicy为
Delete
,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。有关更多信息,请参阅 共享存储。
注意
DeletionPolicy
从 3.3.0 AWS ParallelCluster 版开始受支持。 AccessPointId
(可选,String
)-
如果指定了该选项,将挂载由
access point ID
定义的文件系统入口点,而不是文件系统根目录。有关更多信息,请参阅 共享存储。
FsxLustreSettings
注意
如果为 StorageType 指定了 FsxLustre
,则必须定义 FsxLustreSettings
。
(可选)适用 FSx 于 Lustre 文件系统的设置。
FsxLustreSettings:
StorageCapacity: integer
DeploymentType: string
ImportedFileChunkSize: integer
DataCompressionType: string
ExportPath: string
ImportPath: string
WeeklyMaintenanceStartTime: string
AutomaticBackupRetentionDays: integer
CopyTagsToBackups: boolean
DailyAutomaticBackupStartTime: string
PerUnitStorageThroughput: integer
BackupId: string
# BackupId cannot coexist with some of the fields
KmsKeyId: string
FileSystemId: string
# FileSystemId cannot coexist with other fields
AutoImportPolicy: string
DriveCacheType: string
StorageType: string
DeletionPolicy: string
注意
如果 AWS Batch 用作调度程序, FSx 则 Lustre 仅在群集头节点上可用。
FsxLustreSettings
属性
如果设置DeletionPolicy为Delete
,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。
有关更多信息,请参阅 共享存储。
StorageCapacity
(必需,Integer
)-
设置 Lustre 文件系统的存储容量,以 GiB FSx 为单位。
StorageCapacity
如果要创建新的文件系统,则为必填项。如果指定了BackupId
或FileSystemId
,则不要包含StorageCapacity
。-
对于
SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
部署类型,有效值为 1200 GiB、2400 GiB,并以 2400 GiB 为增量。 -
对于
SCRATCH_1
部署类型,有效值为 1200 GiB、2400 GiB,并以 3600 GiB 为增量。
-
DeploymentType
(可选,String
)-
指定 Lustre 文件系统的部署类型。 FSx 支持的值有
SCRATCH_1
、SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
。默认值为SCRATCH_2
。当您需要临时存储和短期处理数据时,请选择
SCRATCH_1
和SCRATCH_2
部署类型。SCRATCH_2
部署类型提供了数据的传输中加密,以及比SCRATCH_1
更高的突发吞吐能力。为长期存储和不对延迟敏感的以吞吐量为重点的工作负载选择
PERSISTENT_1
部署类型。PERSISTENT_1
支持对传输中的数据进行加密。它在所有可用 Lustr FSx e AWS 区域 的地方都可用。对于长期存储以及需要最高级别的 IOPS 和吞吐量的延迟敏感型工作负载,请选择
PERSISTENT_2
部署类型。PERSISTENT_2
支持 SSD 存储,并提供更高的PerUnitStorageThroughput
(最高达到 1000 MB/s/TiB)。PERSISTENT_2
适用于有限数量的 AWS 区域。有关部署类型和可用 AWS 区域 位置PERSISTENT_2
列表的更多信息,请参阅《Amazon FSx for Lustre 用户指南》中的 Lustre 文件系统部署选项。 FSx当您从支持此功能的 Amazon EC2 实例访问
SCRATCH_2
PERSISTENT_1
、或PERSISTENT_2
部署类型的文件系统时,会自动启用传输中数据的加密。从受支持的 AWS 区域中受支持的实例类型进行访问时,支持
SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
部署类型的传输中数据加密。有关更多信息,请参阅 Amazon for Lustre 用户指南 FSx 中的加密传输中的数据。注意
从 AWS ParallelCluster 版本 3.2.0 开始增加了对
PERSISTENT_2
部署类型的支持。 ImportedFileChunkSize
(可选,Integer
)-
对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。
默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。
注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 Amazon FSx for Lustre 用户指南中的将文件系统关联到 S3 存储桶。 DataCompressionType
(可选,String
)-
为 Lustre 文件系统设置数据压缩配置。 FSx 支持的值为
LZ4
。LZ4
表示该 LZ4 算法已开启数据压缩。如果未指定DataCompressionType
,则在创建文件系统时关闭数据压缩。有关更多信息,请参阅 Lustre 数据压缩。
ExportPath
(可选,String
)-
Amazon S3 中导出您 FSx 的 for Lustre 文件系统根目录的路径。仅当指定了
ImportPath
参数时支持此设置。该路径必须使用在ImportPath
中指定的相同 Amazon S3 存储桶。您可以提供一个可选的前缀,用于从 for Lustre 文件系统中导出新数据和更改数据。 FSx 如果未提供ExportPath
值,则 FSx 为 Lustre 设置默认导出路s3://
径。此时间戳采用 UTC 格式,例如amzn-s3-demo-bucket
/FSxLustre[creation-timestamp]s3://
。amzn-s3-demo-bucket
/FSxLustre20181105T222312ZAmazon S3 导出桶必须与
ImportPath
指定的导入桶相同。如果仅指定存储桶名称(例如s3://
),则会获得文件系统对象与 Amazon S3 存储桶对象的 1:1 映射。此映射意味着 Amazon S3 中的输入数据会在导出时被覆盖。如果您在导出路径中提供了自定义前缀(例如amzn-s3-demo-bucket
s3://
),则 Lustre 会将文件系统的内容导出到 Amazon S3 存储桶中的该导出前缀。 FSxamzn-s3-demo-bucket
/[custom-optional-prefix]注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。按照《Amaz FSx on for Lustre 用户指南》中的将文件系统链接到 S3 存储桶中所述配置数据存储库关联。 ImportPath
(可选,String
)-
您用作 for Lustre 文件系统数据存储库的 Amazon S3 存储桶的路径(包括可选前缀)。 FSx 您 FSx 的 for Lustre 文件系统的根目录将映射到您选择的 Amazon S3 存储桶的根目录。例如,
s3://
。如果您在 Amazon S3 名称后指定了前缀,则只将具有该前缀的对象键加载到文件系统。amzn-s3-demo-bucket
/optional-prefix注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。按照《Amaz FSx on for Lustre 用户指南》中的将文件系统链接到 S3 存储桶中所述配置数据存储库关联。 WeeklyMaintenanceStartTime
(可选,String
)-
执行每周维护的首选开始时间。它采用 UTC+0 时区的
"d:HH:MM"
格式。对于此格式,d
是从 1 到 7 的星期几数字,从星期一开始,以星期日结束。此字段必须使用引号。 AutomaticBackupRetentionDays
(可选,Integer
)-
保留自动备份的天数。将此值设置为 0 将禁用自动备份。支持的范围是 0-90。默认值是 0。此设置仅在与
PERSISTENT_1
和PERSISTENT_2
部署类型一起使用时有效。有关更多信息,请参阅《Amazon FSx for Lustre 用户指南》中的使用备份。 CopyTagsToBackups
(可选,Boolean
)-
如果是
true
,请将 for Lustre 文件系统的标签复制到备份中。 FSx 此值默认为false
。如果设置为true
,则会将文件系统的所有标签复制到用户未指定标签的所有自动和用户启动的备份。如果此值为true
,并且指定了一个或多个标签,则仅将指定的标签复制到备份。如果您在创建用户启动的备份时指定了一个或多个标签,则不会从文件系统复制任何标签,无论此值如何。此设置仅在与PERSISTENT_1
和PERSISTENT_2
部署类型一起使用时有效。 DailyAutomaticBackupStartTime
(可选,String
)-
每天重复的时间,格式为
HH:MM
。HH
是一天中的零填充小时 (00-23)。MM
是小时中的零填充分钟 (00-59)。例如,05:00
指定每天上午 5 点。此设置仅在与PERSISTENT_1
和PERSISTENT_2
部署类型一起使用时有效。 PerUnitStorageThroughput
(对PERSISTENT_1
和PERSISTENT_2
部署类型为必需,Integer
)-
描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐容量的计算方法是将文件系统存储容量 (TiB) 乘以
PerUnitStorageThroughput
(MB/s/TiB). For a 2.4 TiB file system, provisioning 50 MB/s/TiBof),得出 120 MB/s 的文件系统吞吐PerUnitStorageThroughput
量。您需要为预置的吞吐量付费。这与该PerUnitStorageThroughput属性相对应。有效值:
-
PERSISTENT_1 SSD 存储:50、100、200 MB/s/TiB。
-
PERSISTENT_1 HDD 存储:12、40 MB/s/TiB。
-
PERSISTENT_2 SSD 存储:125、250、500、1000 MB/s/TiB。
-
BackupId
(可选,String
)-
指定用于从现有备份中恢复 for Lustre 文件系统的备份 ID。 FSx 指定了
BackupId
设置时,不得指定AutoImportPolicy
、DeploymentType
、ExportPath
、KmsKeyId
、ImportPath
、ImportedFileChunkSize
、StorageCapacity
和PerUnitStorageThroughput
设置。这些设置将从备份中读取。此外,不得指定AutoImportPolicy
、ExportPath
、ImportPath
和ImportedFileChunkSize
设置。这与该BackupId属性相对应。 KmsKeyId
(可选,String
)-
AWS Key Management Service (AWS KMS) 密钥 ID 的 ID,用于加密 for Lustre 文件系统的数据,使静态的 Lustre 文件系统具有永久性 FSx 。 FSx 如果未指定,则使用 f FSx or Lustre 托管密钥。Lustre 文件系统的
SCRATCH_1
和SCRATCH_2
FSx 始终使用 Lustre 托管密钥 FSx 进行静态加密。有关更多信息,请参阅 AWS Key Management Service API 参考 中的 Encrypt。 FileSystemId
(可选,String
)-
指定 Lustre 现有 FSx 文件系统的 ID。
如果指定了此选项,则仅使用
FsxLustreSettings
中的MountDir
和FileSystemId
设置。FsxLustreSettings
中的所有其他设置都将被忽略。注意
如果使用 AWS Batch 调度器,则 fo FSx r Lustre 仅在头节点上可用。
注意
该文件系统必须关联到通过端口 988、1021、1022 和 1023 允许入站和出站 TCP 流量的安全组。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。
-
AutoImportPolicy
(可选,String
)-
当您创建 f FSx or Lustre 文件系统时,您的现有 Amazon S3 对象将显示为文件和目录列表。使用此属性选择 Lustre 在关联的 Amazon S3 存储桶中添加或修改对象时如何 FSx 使您的文件和目录列表保持最新。
AutoImportPolicy
可以有以下值:-
NEW
-自动导入已开启。 FSx for Lustre 会自动导入添加到链接的 Amazon S3 存储桶中且当前不存在于 for Lustre 文件系统中的任何新对象 FSx 的目录列表。 -
NEW_CHANGED
-自动导入已开启。 FSx for Lustre 会自动导入添加到 Amazon S3 存储桶中的任何新对象以及选择此选项后在 Amazon S3 存储桶中更改的任何现有对象的文件和目录列表。 -
NEW_CHANGED_DELETED
-自动导入已开启。 FSx for Lustre 会自动导入添加到 Amazon S3 存储桶中的任何新对象、在 Amazon S3 存储桶中更改的任何现有对象以及您选择此选项后在 Amazon S3 存储桶中删除的所有对象的文件和目录列表。注意
在 AWS ParallelCluster 版本 3.1.1 中增加了对
NEW_CHANGED_DELETED
的支持。
如果
AutoImportPolicy
未指定,则关闭自动导入。 FSx for Lustre 仅在创建文件系统时更新链接的 Amazon S3 存储桶中的文件和目录列表。 FSx 选择此选项后,for Lustre 不会更新任何新对象或已更改对象的文件和目录列表。有关更多信息,请参阅 Amaz FSx on for Lustre 用户指南中的自动从 S3 存储桶导入更新。
注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 Amazon FSx for Lustre 用户指南中的将文件系统关联到 S3 存储桶。 -
DriveCacheType
(可选,String
)-
指定文件系统具有 SSD 驱动器缓存。只有将
StorageType
设置设为HDD
,且将DeploymentType
设置设为PERSISTENT_1
,才能设置此选项。这与该DriveCacheType属性相对应。有关更多信息,FSx 请参阅《Amazon FSx for Lustre 用户指南》中的 Lustre 部署选项。唯一有效值为
READ
。要禁用 SSD 驱动器缓存,请不要指定DriveCacheType
设置。 StorageType
(可选,String
)-
为您正在创建的 for FSx Lustre 文件系统设置存储类型。有效值为
SSD
和HDD
。-
设置为
SSD
以使用固态驱动器存储。 -
设置为
HDD
以使用硬盘驱动器存储。PERSISTENT
部署类型支持HDD
。
默认值为
SSD
。有关更多信息,请参阅亚马逊 Windows 版用户指南中的存储类型选项和亚马逊 FSx for Lustre 用户指南中的多个存储选项。 FSx -
DeletionPolicy
(可选,String
)-
指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是
Delete
和Retain
。默认值为Delete
。如果设置DeletionPolicy为
Delete
,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。有关更多信息,请参阅 共享存储。
注意
DeletionPolicy
从 3.3.0 AWS ParallelCluster 版开始受支持。 DataRepositoryAssociations
(可选,String
)-
列表 DRAs (每个文件系统最多 8 个)
每个数据存储库关联都必须有一个唯一的 Amazon FSx 文件系统目录以及与之关联的唯一 S3 存储桶或前缀。
不能ImportPath在使用ExportPath和的 FsxLustreSettings 同时使用 DRAs。
Name
(必需,String
)-
DRA 的名称。可以在更新设置时使用此名称。
BatchImportMetaDataOnCreate
(可选,Boolean
)-
一种布尔标志,指示是否应在创建数据存储库关联后运行用于导入元数据的导入数据存储库任务。如果将此标志设置为
true
,则该任务将运行。默认值:
false
DataRepositoryPath
(必需,String
)-
要链接到文件系统的 Amazon S3 数据存储库的路径。该路径可以是 S3 存储桶或格式
s3://
的前缀。此路径指定 S3 数据存储库文件将从中导入或导出到的位置。amzn-s3-demo-bucket
/myPrefix/不能与其他重叠 DRAs
模式:
^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$
最低:
3
最高:
4357
FileSystemPath
(必需,String
)-
Amazon fo FSx r Lustre 文件系统上的路径,它指向将与 1-1 映射的高级目录(例如
/ns1/
/ns1/subdir/
)或子目录(例如)。DataRepositoryPath
名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如,如果数据存储库与文件系统路径/ns1/
相关联,则您无法将另一个数据存储库与文件系统路径/ns1/ns2
相关联。此路径指定文件将在您的文件系统中的哪个位置导出或导入到哪个位置。只能将此文件系统目录链接到一个 Amazon S3 桶,而不能将其他 S3 桶链接到该目录。
不能与其他重叠 DRAs
注意
如果您仅指定正斜杠 (
/
) 作为文件系统路径,则只能将一个数据存储库链接到文件系统。您只能将“/
”指定为与文件系统相关联的第一个数据存储库的文件系统路径。模式:
^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$
最低:
1
最高:
4096
ImportedFileChunkSize
(可选,Integer
)-
对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统或缓存的总磁盘数限制。
默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。
最低:
1
最高:
4096
AutoExportPolicy
(可选,Array of strings
)-
该列表可包含一个或多个以下值:
-
NEW
- 新文件和目录将在添加到文件系统时自动导出到数据存储库。 -
CHANGED
- 对文件系统上的文件和目录所做的更改将自动导出到数据存储库。 -
DELETED
- 在文件系统上删除文件和目录后,将在数据存储库中自动删除这些文件和目录。
您可以为您的
AutoExportPolicy
定义事件类型的任意组合。最高:
3
-
AutoImportPolicy
(可选,Array of strings
)-
该列表可包含一个或多个以下值:
-
NEW
-Amazon FSx 会自动导入添加到链接的 S3 存储桶且 FSx 文件系统中当前不存在的文件的元数据。 -
CHANGED
-当数据存储库中的文件更改时,Amazon FSx 会自动更新文件元数据并使文件系统中的现有文件内容失效。 -
DELETED
-当相应文件在数据存储库中被删除时,Amazon 会 FSx 自动删除文件系统上的文件。
您可以为您的
AutoImportPolicy
定义事件类型的任意组合。最高:
3
-
FsxOntapSettings
注意
如果为 StorageType 指定了 FsxOntap
,则必须定义 FsxOntapSettings
。
(可选)适用 FSx 于 ONTAP 的文件系统的设置。
FsxOntapSettings:
VolumeId: string
FsxOntapSettings
属性
VolumeId
(必需,String
)-
指定 ONTAP FSx 系统的现有卷 ID。
注意
-
如果使用 AWS Batch 调度程序, FSx 则 ONTAP 仅在头节点上可用。
-
如果 FSx 适用于 ONTAP 的部署类型为
Multi-AZ
,请确保已正确配置头节点子网的路由表。 -
3.2.0 FSx AWS ParallelCluster 版本中增加了对 ONTAP 的支持。
-
该文件系统必须关联到通过端口 111、635、2049 和 4046 允许入站和出站 TCP 和 UDP 流量的安全组。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。
FsxOpenZfsSettings
注意
如果为 StorageType 指定了 FsxOpenZfs
,则必须定义 FsxOpenZfsSettings
。
(可选)适用 FSx 于 OpenZFS 文件系统的设置。
FsxOpenZfsSettings:
VolumeId: string
FsxOpenZfsSettings
属性
VolumeId
(必需,String
)-
指定 OpenZFS FSx 系统的现有卷 ID。
注意
-
如果使用 AWS Batch 调度程序, FSx 则 OpenZFS 只能在头节点上使用。
-
3.2.0 FSx AWS ParallelCluster 版本中增加了对 OpenZFS 的支持。
-
该文件系统必须关联到通过端口 111、2049、20001、20002 和 20003 允许入站和出站 TCP 和 UDP 流量的安全组。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。
FileCacheSettings
注意
如果为 StorageType 指定了 FileCache
,则必须定义 FileCacheSettings
。
(可选)文件缓存的设置。
FileCacheSettings:
FileCacheId: string
FileCacheSettings
属性
FileCacheId
(必需,String
)-
指定现有文件缓存的文件缓存 ID。
注意
-
文件缓存不支持 AWS Batch 调度程序。
-
3.7.0 AWS ParallelCluster 版本中增加了对文件缓存的支持。
-
该文件系统必须关联到通过端口 988 允许入站和出站 TCP 流量的安全组。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件缓存的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。
注意
AWS ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 AWS ParallelCluster 不验证 CIDR 块或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。