将网络文件系统与 AWS PCS - AWS PCS
使用网络文件系统的注意事项网络挂载示例

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将网络文件系统与 AWS PCS

您可以将网络文件系统附加到 AWS 并行计算服务 (AWS PCS) 计算节点组中启动的节点，以提供写入和访问数据和文件的永久位置。您可以使用 AWS 服务提供的文件系统，包括亚马逊 Elastic File System（亚马逊EFS）、Amazon for O FSx pen ZFS、Amazon FSx for Lustre 和亚马逊文件缓存。您也可以使用自行管理的文件系统，例如NFS服务器。

本主题介绍使用网络文件系统的注意事项和示例 AWS PCS。

使用网络文件系统的注意事项

各种文件系统的实现细节各不相同，但有一些常见的注意事项。

  • 必须在实例上安装相关的文件系统软件。例如，要使用 Amazon f FSx or Lustre，相应的 Lustre 包裹应该在场。这可以通过将其包含在计算节点组中AMI或使用在实例启动时运行的脚本来实现。

  • 共享网络文件系统和计算节点组实例之间必须有网络路由。

  • 共享网络文件系统和计算节点组实例的安全组规则必须允许连接到相关端口。

  • 你必须保持一致 POSIX 跨访问文件系统的资源中的用户和组命名空间。否则，在您的PCS集群上运行的作业和交互式进程可能会遇到权限错误。

  • 文件系统装载是使用完成的 EC2 启动模板。挂载网络文件系统时出现错误或超时可能会使实例无法运行作业。反过来，这可能会导致意想不到的成本。有关调试启动模板的更多信息，请参阅将 Amazon EC2 启动模板与 AWS PCS。

网络挂载示例

您可以使用 Amazon EFS、Amazon for Lustre、Amazon FSx for Open ZFS 和 Amazon FSx File Cache 创建文件系统。展开下面的相关部分，查看每个网络挂载的示例。

文件系统设置

创建 Amazon EFS 文件系统。确保它在每个可用区中都有一个挂载目标，您将在其中启动PCS计算节点组实例。还要确保每个挂载目标都与一个安全组相关联，该安全组允许来自PCS计算节点组实例的入站和出站访问。有关更多信息，请参阅 Amazon Elastic File System 用户指南中的挂载目标和安全组。

启动模板

将文件系统设置中的安全组添加到将用于计算节点组的启动模板中。

包括使用挂载 Amazon EFS 文件系统的cloud-config机制的用户数据。用您自己的详细信息替换此脚本中的以下值：

  • mount-point-directory— 您将在每个实例上挂载 Amazon 的路径 EFS

  • filesystem-id— 文件系统的EFS文件系统 ID

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

文件系统设置

在你要使用的VPC AWS PCS位置创建一个 FSx for Lustre 文件系统。为了最大限度地减少区域间传输，请在同一个可用区的子网中部署，您将在那里启动大多数PCS计算节点组实例。确保文件系统与允许来自PCS计算节点组实例的入站和出站访问的安全组相关联。有关安全组的更多信息，请参阅《Amazon for Lustre 用户指南》VPC中的 Amazon FSx 文件系统访问控制。

启动模板

包括FSx用于装载 for cloud-config Lustre 文件系统的用户数据。用您自己的详细信息替换此脚本中的以下值：

  • mount-point-directory— 你要为 Lustre 挂载FSx的实例上的路径

  • filesystem-id— 适用于 Lustre 文件系统的文件系统 ID FSx

  • mount-name— 适用于 Lustre 文件FSx系统的装载名称

  • region-code— for FSx Lustre 文件系统的部署 AWS 区域 位置（必须与您的 AWS PCS系统相同）

  • （可选）latest-任何版本的 Lustre 由 for Lu FSx stre 支持

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==

文件系统设置

在你要使用的VPC位置创建一个 FSx for Open ZFS 文件系统 AWS PCS。为了最大限度地减少区域间传输，请在同一个可用区的子网中部署，您将在那里启动大多数 AWS PCS计算节点组实例。确保文件系统与允许从 AWS PCS计算节点组实例进行入站和出站访问的安全组相关联。有关安全组的更多信息，请参阅《开放ZFS用户指南》VPC中的 “FSx使用 Amazon 管理文件系统访问权限”。

启动模板

包括用于挂载 fo cloud-config r Open ZFS 文件系统的根卷FSx的用户数据。用您自己的详细信息替换此脚本中的以下值：

  • mount-point-directory— 您要在实例上挂载 for Open ZFS 共享FSx的路径

  • filesystem-id— Open ZFS 文件系统的文件系统 ID FSx

  • region-code— f FSx or Open ZFS 文件系统的部署 AWS 区域 位置（必须与您的 AWS PCS系统相同）

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

文件系统设置

在您要使用的VPC位置创建 Amazon 文件缓存 AWS PCS。要最大限度地减少区域间传输，请在要启动大部分PCS计算节点组实例的同一可用区中选择一个子网。确保文件缓存与安全组关联，该安全组允许您的PCS实例和文件缓存之间通过端口 988 进行入站和出站流量。有关安全组的更多信息，请参阅《Amazon 文件缓存用户指南》VPC中的 Amazon 缓存访问控制。

启动模板

将文件系统设置中的安全组添加到将用于计算节点组的启动模板中。

包括用于cloud-config挂载 Amazon 文件缓存的用户数据。用您自己的详细信息替换此脚本中的以下值：

  • mount-point-directory— 你要为 Lustre 挂载FSx的实例上的路径

  • cache-dns-name— 文件缓存的域名系统 (DNS) 名称

  • mount-name— 文件缓存的挂载名称

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==