Amazon for FSx Lustre 是什么? - FSx为了光泽

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon for FSx Lustre 是什么?

FSxfor Lustre 可以轻松且经济高效地启动和运行流行的高性能 Lustre 文件系统。您可以将 Lustre 用于速度至关重要的工作负载,例如机器学习、高性能计算 (HPC)、视频处理和财务建模。

开源 Lustre 文件系统专为需要快速存储的应用程序而设计,即希望存储能跟上计算速度。Lustre 的构建是为了解决既快又省地处理全球不断增长的数据集的问题。它是一个广泛使用的文件系统,专为世界上速度最快的计算机而设计。它提供亚毫秒级的延迟、高达数百的吞吐量和高达数百万GBps的吞吐量。IOPS有关 Lustre 的更多信息,请访问 Lustre 网站

作为一项完全托管的服务,Amazon FSx 使您可以更轻松地将 Lustre 用于存储速度至关重要的工作负载。FSxfor Lustre 消除了设置和管理 Lustre 文件系统的传统复杂性,使您能够在几分钟内启动并运行经过实战考验的高性能文件系统。此外,还提供了多种部署选项,因此您可以根据需要优化成本。

FSxfor Lustre POSIX 兼容,因此您无需进行任何更改即可使用当前基于 Linux 的应用程序。FSxfor Lustre 提供了一个本机文件系统接口,并且可以像任何文件系统一样使用 Linux 操作系统。它还提供 read-after-write一致性并支持文件锁定。

多种部署选项

Amazon for Lustre 提供了多种暂存文件系统和永久文件系统FSx供您选择,以满足不同的数据处理需求。临时文件系统适用于临时存储和短期数据处理。如果文件服务器出现故障,则不会复制数据,也不会持久保留数据。持久性文件系统适用于长期存储和侧重于吞吐量的工作负载。在持久性文件系统中,会复制数据,并更换出现故障的文件服务器。有关更多信息,请参阅 FSx for Lustre 文件系统的部署选项

多种存储选项

Amazon FSx for Lustre 提供固态硬盘 (SSD) 和硬盘驱动器 (HDD) 存储类型可供选择,这些存储类型针对不同的数据处理要求进行了优化:

  • SSD存储选项 — 对于通常具有小型随机文件操作的低延迟、IOPS密集型工作负载,请选择其中一个SSD存储选项。

  • HDD存储选项 — 对于通常具有大型顺序文件操作的吞吐量密集型工作负载,请选择其中一个存储选项。HDD

如果您使用HDD存储选项配置文件系统,则可以选择配置大小为存储容量的 20% 的只读SSD缓HDD存。这为经常访问的文件提供了亚毫秒级的延迟,甚至更高的IOPS延迟。SSD基于和HDD基于的文件系统都使用SSD基于元数据的服务器进行配置。因此,所有元数据操作(代表大多数文件系统操作)都以亚毫秒级延迟传送。

有关这些存储选项的性能的更多信息,请参阅 Amazon FSx for Lustre 性能

FSx适用于 Lustre 和数据存储库

您可以将 Lustre 文件系统链接FSx到 Amazon S3 上的数据存储库或本地数据存储。

FSx用于 Lustre S3 数据存储库集成

FSxfor Lustre 与 Amazon S3 集成,使您可以更轻松地使用 Lustre 高性能文件系统处理云数据集。当链接到 Amazon S3 存储桶时,fo FSx r Lustre 文件系统会以文件形式透明地呈现 S3 对象。创建文件系统时,Amazon 会FSx导入您的 S3 存储桶中所有现有文件的清单。Amazon 还FSx可以在创建文件系统后导入添加到数据存储库中的文件清单。您可以设置导入首选项以满足您的工作流程需求。文件系统还允许将文件系统数据写回 S3。数据存储库任务简化了您FSx的 for Lustre 文件系统与 Amazon S3 上的持久数据存储库之间的数据和元数据传输。有关更多信息,请参阅在 Amazon 上使用数据存储库 for Lu FSx stre数据存储库任务

FSx适用于 Lustre 和本地数据存储库

借助 Amazon FSx for Lustre,您可以使用 AWS Direct Connect 或 AWS VPN导入数据,将数据处理工作负载从本地扩展到中。 AWS Cloud 有关更多信息,请参阅 使用 Amazon FSx 处理您的本地数据

正在访问 FSx Lustre 文件系统

您可以混合搭配连接到单个 FSx for Lustre 文件系统的计算实例类型和 Linux Amazon 系统映像 (AMIs)。

Amazon FSx for Lustre 文件系统可通过在亚马逊弹性计算云(亚马逊EC2)实例、亚马逊弹性容器服务(亚马逊)Docker 容器上运行的计算工作负载以及在亚马逊弹性 Kubernetes Service(亚马逊ECS)上运行的容器上运行的计算工作负载进行访问。EKS

  • 亚马逊 EC2 — 您可以使用开源 Lustre 客户端从您的亚马逊EC2计算实例访问您的文件系统。亚马逊EC2实例可以从同一 Amazon Virtual Private Cloud (AmazonVPC) 内的其他可用区域访问您的文件系统,前提是您的网络配置允许跨子网访问您的文件系统。VPC挂载 Amazon FSx for Lustre 文件系统后,您可以像使用本地文件系统一样处理其文件和目录。

  • 亚马逊 EKS — 如亚马逊FSxEKS用户指南中所述,您可以使用开源 Lustre CSI 驱动程序从在亚马逊上运行FSx的容器中访问 Ama zon EKS for Lustre。您在亚马逊上运行的容器EKS可以使用由亚马逊FSx支持的高性能永久性卷 (PVs) for Lustre。

  • 亚马逊 ECS — 你可以通过亚马逊实例上的亚马逊 FSx ECS Docker 容器访问 Amazon for Lustre。EC2有关更多信息,请参阅 从 Amazon Elastic Container Service 挂载

Amazon FSx for Lustre 与最受欢迎的基于 Linux 的版本兼容,AMIs包括亚马逊 Linux 2023 和亚马逊 Linux 2、红帽企业 Linux ()、CentOS RHEL、Ubuntu 和 Linux。SUSELustre 客户端包含在亚马逊 Linux 2023 和亚马逊 Linux 2 中。对于 RHEL CentOS 和 Ubuntu, AWS Lustre 客户端存储库提供了与这些操作系统兼容的客户端。

使用 f FSx or Lustre,您可以 AWS Cloud 通过或导入数据,将计算密集型工作负载从本地扩展到中。 AWS Direct Connect AWS Virtual Private Network您可以从本地访问您的 Amazon FSx 文件系统,根据需要将数据复制到文件系统中,并在云端实例上运行计算密集型工作负载。

有关可以访问 Lustre 文件系统的客户端、计算实例和环境FSx的更多信息,请参阅访问文件系统

与 AWS 服务的集成

Amazon FSx for Lustre SageMaker 作为输入数据源与亚马逊集成。 SageMaker 与 for Lustre 配合FSx使用时,通过省去从 Amazon S3 的初始下载步骤,可以加快您的机器学习训练作业。此外,通过避免重复下载相同数据集上的迭代任务的常用对象,从而降低总拥有成本 (TCO),从而节省 S3 请求成本。有关更多信息,请参阅什么是 SageMaker? 在《亚马逊 SageMaker 开发者指南》中。有关如何使用 Amazon FSx for Lustre 作为数据源的演练,请参阅 M AWS ac hine Learning 博客上的使用 Amaz SageMaker on for Lustre 和亚马逊EFS文件系统在亚马逊上加快训练速度。 SageMaker FSx

FSxfor Lustre 与 AWS Batch 使用EC2启动模板集成。 AWS Batch 使您能够在上运行批量计算工作负载 AWS Cloud,包括高性能计算 (HPC)、机器学习 (ML) 和其他异步工作负载。 AWS Batch 根据任务资源要求自动和动态地调整实例的大小。有关更多信息,请参阅什么是 AWS Batch? 在《AWS Batch 用户指南》中。

FSxfor Lustre 集成了。 AWS ParallelCluster AWS ParallelCluster 是一款 AWS支持开源集群管理工具,用于部署和管理HPC集群。它可以在集群创建过程中自动FSx为 Lustre 文件系统创建或使用现有文件系统。

安全与合规

FSxfor Lustre 文件系统支持静态和传输中的加密。Amazon 使用在 AWS Key Management Service (AWS KMS) 中管理的密钥FSx自动加密文件系统的静态数据。某些情况下,当从支持的 Amazon EC2 实例访问 AWS 区域 时,传输中的数据还会在文件系统上自动加密。有关 Lustre 中数据加密FSx的更多信息,包括 AWS 区域 何处支持对传输中的数据进行加密,请参阅在 Amazon 中对 Lustre FSx 进行数据加密。Amazon FSx 已被评估为符合ISODSS、PCI-和SOC认证,并且HIPAA符合资格。有关更多信息,请参阅 适用于 Lustre 的亚马逊 FSx 中的安全

假设

在本指南中,我们做出了以下假设:

  • 如果您使用亚马逊弹性计算云 (AmazonEC2),我们假设您熟悉该服务。有关如何使用亚马逊的更多信息EC2,请参阅亚马逊EC2文档

  • 我们假设您熟悉使用亚马逊 Virtual Private Cloud(亚马逊VPC)。有关如何使用亚马逊的更多信息VPC,请参阅亚马逊VPC用户指南

  • 我们假设您没有VPC根据Amazon VPC 服务更改默认安全组的规则。如果有,请确保添加必要的规则,以允许从您的亚马逊EC2实例到您的 Amazon for Lustre 文件系统的网络流量。FSx有关更多详细信息,请参阅使用 Amazon VPC 进行文件系统访问控制

亚马逊对于 Lustre FSx 的定价

使用 Amazon FSx for Lustre,无需支付前期硬件或软件成本。您只需为使用的资源付费,没有最低承付款、设置费用或额外费用。有关与该服务相关的定价和费用的信息,请参阅 Amazon FSx for Lustre 定价

Amazon FSx for Lustre 论坛

如果您在使用 Amazon FSx for Lustre 时遇到问题,请访问论坛

你是首次使用 Amazon for Lustr FSx e 吗?

如果您是首次使用 Amazon FSx for Lustre 的用户,我们建议您按顺序阅读以下章节:

  1. 如果您已准备好创建第一个 Amazon FSx for Lustre 文件系统,请尝试开始使用 Amazon for Lu FSx stre

  2. 有关性能的信息,请参阅 Amazon FSx for Lustre 性能

  3. 有关将文件系统关联到 Amazon S3 桶数据存储库的更多信息,请参阅在 Amazon 上使用数据存储库 for Lu FSx stre

  4. 有关 Amazon FSx for Lustre 的安全详情,请参阅适用于 Lustre 的亚马逊 FSx 中的安全

  5. 有关 Amazon FSx for Lustre 的可扩展性限制(包括吞吐量和文件系统大小)的信息,请参阅亚马逊 FSx for Lustre 的配额

  6. 有关 Amazon FSx for Lustre 的信息API,请参阅 A mazon FSx for Lustre API 参考资料。