本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
开始使用 Amazon for Lu FSx stre
接下来,你可以学习如何开始使用 Amazon FSx for Lustre。这些步骤将引导您创建一个 Amazon f FSx or Lustre 文件系统并从您的计算实例访问该文件系统。(可选)它们展示如何使用您的 Amazon FSx for Lustre 文件系统通过基于文件的应用程序处理 Amazon S3 存储桶中的数据。
此入门练习包括以下步骤。
先决条件
要进行此次入门练习,您需要:
-
具有创建 A FSx mazon for Lustre 文件系统和亚马逊EC2实例所需权限的 AWS 账户。有关更多信息,请参阅 设置 Amazon FSx for Lustre。
-
创建要与您FSx的 for Lustre 文件系统关联的 Amazon VPC 安全组,并且在创建文件系统后不要对其进行更改。有关更多信息,请参阅为您的 Amazon FSx 文件系统创建安全组。
-
基于亚马逊VPC服务的在您的虚拟私有云 (VPC) 中运行受支持的 Linux 版本的亚马逊EC2实例。对于本入门练习,我们建议使用亚马逊 Linux 2023。您将在此EC2实例上安装 Lustre 客户端,然后在该实例上安装您的 f FSx or Lustre 文件系统。EC2有关创建EC2实例的更多信息,请参阅 Amazon EC2 用户指南中的入门:启动实例或启动您的实例。
Lustre 客户端支持亚马逊 Linux;亚马逊 Linux 2;亚马逊 Linux 2023;红帽企业 Linux 7.7 到 7.9、8.2 到 8.10 以及 9.0、9.3 和 9.4;CentOS 7.7 到 7.9 以及 8.2 到 8.10;Rocky Linux 8.4 到 8.10、9.0、9.3 和 9.4;Linux 企业服务器 12 和;SUSE以及 Ubuntu 18.04、20.04,还有 22.04。SP3 SP4 SP5有关更多信息,请参阅 Lustre 文件系统和客户端内核兼容性。
在为本入门练习创建 Amazon EC2 实例时,请记住以下几点:
-
我们建议您在默认模式下创建您的实例VPC。
-
我们建议您在创建EC2实例时使用默认安全组。
-
每个 FSx Lustre 文件系统要求每个元数据服务器 (MDS) 有一个 IP 地址,每个存储服务器需要一个 IP 地址 (OSS)。
-
对于具有元数据配置的 Persistent_2 文件系统,每个 12000 元数据IOPS值还需要文件系统所在子网内的一个 IP 地址。
-
永久SSD文件系统为每个系统提供 2.4 TiB 的存储空间。OSS
-
吞吐容量为 12 MB/s/TiB 的永久HDD文件系统将为每个系统配置 6 TiB 的存储空间。OSS
-
吞吐容量为 40 MB/s/TiB 的永久HDD文件系统为每个系统预配置 1.8 TiB 的存储空间。OSS
-
Scratch_2 文件系统为每个文件系统配置了 2.4 TiB 的存储空间。OSS
-
Scratch_1 文件系统为每个文件系统配置了 3.6 TiB 的存储空间。OSS
-
一个 Amazon S3 桶,用于存储要处理的工作负载数据。S3 存储桶将成为您FSx的 for Lustre 文件系统的链接持久数据存储库。
确定您要创建哪种类型的 Amazon FSx for Lustre 文件系统,即暂存文件系统还是永久文件系统。有关更多信息,请参阅 FSx for Lustre 文件系统的部署选项。
第 1 步:创建你的 f FSx or Lustre 文件系统
您可以在 Amazon FSx 控制台中创建您的文件系统。
要创建文件系统,请执行以下操作:
-
打开 Amazon FSx 控制台,网址为https://console.aws.amazon.com/fsx/
。 -
在控制面板上,选择创建文件系统以启动文件系统创建向导。
-
选择 FSxLustre,然后选择 “下一步” 以显示 “创建文件系统” 页面。
-
在文件系统详细信息部分提供信息:
在文件系统名称 – 可选部分为您的文件系统提供一个名称。您最多可以使用 256 个 Unicode 字母、空格和数字以及特殊字符 + - = . _ : /。
-
对于部署和存储类型,请选择以下任一选项:
SSD存储提供低延迟、IOPS密集型工作负载,这些工作负载通常具有小规模的随机文件操作。HDD存储提供吞吐量密集型工作负载,这些工作负载通常具有大型顺序文件操作。
有关存储类型的更多信息,请参阅 多种存储选项。
有关部署类型的更多信息,请参阅 FSx for Lustre 文件系统的部署选项。
有关可在 AWS 区域 何处对传输中的数据进行加密的更多信息,请参阅加密传输中数据。
为长期存储和需要最高 /吞吐量级别的延迟敏感型工作负载选择持久SSD部署类型。IOPS文件服务器具有高可用性,数据可在文件系统的可用区域内自动复制,并支持对传输中的数据进行加密。持久,SSD使用最新一代的永久性文件系统 Persistent 2。
为长期存储和对延迟不敏感的以吞吐量为重点的工作负载选择 “持续” HDD 部署类型。文件服务器具有高可用性,数据会在文件系统的可用区内自动复制,并且此类型支持对传输中数据进行加密。持久,HDD使用 “持续 1” 部署类型。
选择使用SSD缓存来创建大小为HDD存储容量的 20% 的SSD缓存,从而为经常访问的文件提供亚毫秒级的延迟和更高的IOPS延迟。
选择 S cratch、SSD部署类型以进行临时存储和短期数据处理。S@@ cratch,SSD使用 Scratch 2 文件系统,并提供传输中数据加密。
选择文件系统所需的单位存储吞吐量。此选项仅对持久性部署类型有效。
单位存储吞吐量指预置的每太字节(TiB)的读取和写入吞吐量,以 MB/s/TiB 为单位。您需要为预置吞吐量付费:
对于永久SSD存储,请选择 125、250、500 或 1,000 MB/s/Tib 的值。
对于永久HDD存储,请选择 12 或 40 MB/s/TiB 的值。
创建文件系统后,您可以根据需要增加或减少单位存储吞吐量。有关更多信息,请参阅 管理吞吐能力。
-
对于存储容量,请设置文件系统的存储容量,以 TiB 为单位:
对于持久SSD部署类型,请将其设置为 1.2 TiB、2.4 TiB 或增量为 2.4 TiB。
对于持久HDD部署类型,对于 12 MB/s/Tib 文件系统,此值可以是 6.0 TiB 的增量,对于 40 Mb/s/Tib 文件系统,此值可以是 1.8 TiB 的增量。
创建文件系统后,您可以根据需要增加存储容量。有关更多信息,请参阅 管理存储容量。
-
对于元数据配置,您可以通过两种方式IOPS为文件系统预配置元数据的数量:
-
如果您希望 Amazon FSx 根据文件系统的存储容量自动在文件系统IOPS上预配置和扩展元数据,请选择 “自动”(默认)。
-
如果要指定要为文件系统配置的元数据IOPS数量,请选择 “用户配置”。有效值为
1500
3000
、6000
、12000
、和的倍数12000
,最大值为。192000
有关元数据的更多信息IOPS,请参阅Lustre 元数据性能配置。
-
-
对于数据压缩类型 NONE,选择关闭数据压缩或选择LZ4使用LZ4算法开启数据压缩。有关更多信息,请参阅 Lustre 数据压缩。
使用 Amazon 控制台创建时,所有FSx适用于 Lustre 的文件系统均基于 Lustre 版本 2.15 构建。FSx
-
在网络与安全部分,提供以下网络和安全组信息:
对于虚拟私有云 (VPC)VPC,请选择要与文件系统关联的。在本入门练习中,请选择您为 Amazon EC2 实例选择的相同VPC内容。
对于VPC安全组,VPC应该已经添加了您的默认安全组的 ID。如果您未使用默认安全组,请确保将以下入站规则添加到您在此入门练习中使用的安全组中。
类型 协议 端口范围 源 描述 全部 TCP TCP 0-65535 自定义 _this_security_group 的_ID
Lustre 入站流量规则 以下屏幕截图显示了编辑入站规则的示例。
重要
确保您使用的安全组遵循中提供的配置说明使用 Amazon VPC 进行文件系统访问控制。您必须将安全组设置为允许来自安全组本身或整个子网的端口 988 和 1018-1023 上的入站流量CIDR,这是允许文件系统主机相互通信所必需的。
-
对于子网,请从可用子网列表中选择任意值。
-
对于加密部分,可用选项因您要创建的文件系统类型而异:
-
对于永久性文件系统,您可以选择 AWS Key Management Service (AWS KMS) 加密密钥来加密文件系统上的静态数据。
-
对于临时文件系统,使用由管理的密钥对静态数据进行加密 AWS。
-
对于 scratch 2 和永久文件系统,当从支持的 Amazon EC2 实例类型访问文件系统时,传输中的数据会自动加密。有关更多信息,请参阅 加密传输中数据。
-
-
对于数据存储库 Import/Export – 可选部分,系统会默认禁用将您的文件系统链接到 Amazon S3 数据存储库。有关启用此选项以及创建与现有 S3 桶关联的数据存储库的信息,请参阅 在创建文件系统时链接 S3 桶(控制台)。
重要
选择此选项还会禁用备份,因此您在创建文件系统时将无法启用备份。
如果您将一个或多个 Amazon FSx for Lustre 文件系统关联到 Amazon S3 存储桶,则在删除所有链接的文件系统之前,请勿删除 Amazon S3 存储桶。
-
对于日志记录 – 可选,系统默认情况下已启用日志记录。启用后,文件系统上数据存储库活动的故障和警告将记录到 Amazon L CloudWatch ogs 中。有关配置日志记录的信息,请参阅 管理日志记录。
-
在备份和维护 – 可选中,您可以执行以下操作。
对于每日自动备份:
-
禁用每日自动备份。除非您启用了数据存储库 Import/Export,否则此选项默认处于启用状态。
-
设置每日自动备份时段的开始时间。
-
将自动备份保留期设置为 1-35 天。
有关更多信息,请参阅 使用备份。
-
-
设置每周维护时段的开始时间,或者将其设置为默认的无首选项。
-
对于 Root Squash(可选),根南瓜默认处于禁用状态。有关启用和配置 root squash 的信息,请参阅在创建文件系统时启用 root squash(控制台)。
-
创建您希望应用于文件系统的所有标签。
-
选择下一步以显示创建文件系统摘要页面。
-
查看您的 Amazon f FSx or Lustre 文件系统的设置,然后选择创建文件系统。
现在,您已经创建了文件系统,请记下其完全限定域名和挂载名称以供后续步骤使用。在缓存控制面板中选择文件系统的名称,然后选择附加,可以找到文件系统的完全限定域名和挂载名称。
第 2 步:安装和配置 Lustre 客户端
在从您的亚马逊EC2实例访问您FSx的 Amazon for Lustre 文件系统之前,您必须执行以下操作:
验证您的EC2实例是否满足最低内核要求。
如果需要,请更新内核。
下载并安装 Lustre 客户端。
检查内核版本并下载 Lustre 客户端
-
在您的EC2实例上打开终端窗口。
-
通过运行以下命令确定您的计算实例上当前运行的是哪个内核。
uname -r
-
请执行以下操作之一:
-
如果基
6.1.79-99.167.amzn2023.x86_64
于 x86 的EC2实例返回该命令,6.1.79-99.167.amzn2023.aarch64
或者基于 Graviton2 的EC2实例返回更高的命令,请使用以下命令下载并安装 Lustre 客户端。sudo dnf install -y lustre-client
-
如果该命令返回的结果小于基
6.1.79-99.167.amzn2023.x86_64
于 x86 的EC2实例,或者小于基于 Graviton26.1.79-99.167.amzn2023.aarch64
的EC2实例的结果,请运行以下命令更新内核并重启您的 Amazon EC2 实例。sudo dnf -y update kernel && sudo reboot
使用 uname -r 命令确认是否已更新内核。然后按照上述步骤下载并安装 Lustre 客户端。
有关在其他 Linux 发行版上安装 Lustre 客户端的信息,请参阅 安装 Lustre 客户端。
-
步骤 3:挂载文件系统
要装载文件系统,您需要创建一个安装目录或装载点,然后将文件系统装载到您的客户机上,并验证您的客户机是否可以访问该文件系统。
要挂载您的文件系统,请执行以下操作:
-
使用以下命令为挂载点创建目录。
sudo mkdir -p /mnt/fsx
-
将 Amazon f FSx or Lustre 文件系统挂载到您创建的目录中。使用以下命令并替换以下项目:
替换为实际文件系统的域名系统 (DNS) 名称。file_system_dns_name
替换为文件系统的挂载名称,您可以通过运行describe-file-systems AWS CLI 命令或DescribeFileSystemsAPI操作获得该名称。mountname
sudo mount -t lustre -o relatime,flock
file_system_dns_name
@tcp:/mountname
/mnt/fsx此命令使用
-o relatime
和flock
两个选项挂载您的文件系统:-
relatime
– 选项atime
会维护每次访问文件时的atime
数据(索引节点访问时间),而选项relatime
虽然会维护atime
数据,但不是每次访问文件时都维护。启用选项relatime
后,只有当文件在上次atime
数据更新之后被修改(mtime
),或者距离上次访问文件已超过一定时间(默认为 6 小时)的情况下,atime
数据才会被写入磁盘。使用选项relatime
或atime
将优化文件发布过程。注意
如果您的工作负载需要精确的访问时间准确度,则可以使用
atime
挂载选项进行挂载。但是,这样做可能会增加保持精确访问时间值所需的网络流量,进而影响工作负载性能。如果您的工作负载不需要元数据访问时间,则使用
noatime
挂载选项禁用访问时间更新可以提高性能。请注意,诸如文件发布或数据发布有效性等注重atime
的过程在发布中可能不准确。 -
flock
– 为您的文件系统启用文件锁定。如果您不想启用文件锁定,请使用不启用flock
的mount
命令。
-
使用以下命令列出挂载文件系统
/mnt/fsx
的目录的内容,验证挂载命令是否成功。ls /mnt/fsx
import-path lustre $您也可以使用以下
df
命令。df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/
mountname
3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000结果显示安装在 /mnt/fsx 上的亚马逊FSx文件系统。
第 4 步:运行您的工作流程
现在,您的文件系统已创建并挂载到计算实例,您可以用它来运行高性能计算工作负载。
您可以创建数据存储库关联,将您的文件系统链接到 Amazon S3 数据存储库。更多信息请参阅 将您的文件系统关联到 Amazon S3 存储桶。
将文件系统链接到 Amazon S3 数据存储库后,您可以随时将写入文件系统的数据导回您的 Amazon S3 桶。在其中一个计算实例的终端上,运行以下命令将文件导出到 Amazon S3 桶。
sudo lfs hsm_archive
file_name
有关如何快速在文件夹或大批量文件上运行此命令的更多信息,请参阅 使用HSM命令导出文件。
第 5 步:清除 资源
完成本练习后,您应按照以下步骤清理资源并保护您的 AWS 帐户。
清理资源
-
如果您想进行最终导出,请运行以下命令。
nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
-
在 Amazon EC2 控制台上,终止您的实例。有关更多信息,请参阅 Amazon EC2 用户指南中的终止您的实例。
-
在 Amazon f FSx or Lustre 控制台上,按照以下步骤删除您的文件系统:
-
在导航窗格中选择文件系统。
-
选择要从控制面板的文件系统列表中删除的文件系统。
-
对于操作,选择删除文件系统。
-
在随后显示的对话框中,选择是否要对文件系统进行最终备份。然后提供文件系统 ID 以确认删除。选择删除文件系统。
-
-
如果您为此练习创建了 Amazon S3 桶,并且不想保留导出的数据,则现在可以将其删除。有关更多信息,请参阅《Amazon Simple Storage Service 用户指南》中的删除桶。