将文件系统链接到 Amazon S3 存储桶 - FSx for Lustre

将文件系统链接到 Amazon S3 存储桶

您可以将 Amazon FSx for Lustre 文件系统链接到 Amazon S3 中的数据存储库。您可以在创建文件系统时,或者在文件系统创建后的任何时间创建该链接。

文件系统上的目录与 S3 桶或前缀之间的链接称为数据存储库关联(DRA)。一个 FSx for Lustre 文件系统上最多可以配置 8 个数据存储库关联。最多 8 个 DRA 请求可以加入队列,但文件系统每次只能处理一个请求。每个 DRA 必须有唯一的 FSx for Lustre 文件系统目录以及唯一的 S3 桶或前缀与之关联。

注意

FSx for Lustre 2.10 文件系统或 Scratch 1 文件系统不提供数据存储库关联、自动导出和针对多个数据存储库的支持。

要以文件系统上文件和目录的形式访问 S3 数据存储库上的对象,文件和目录元数据必须加载到文件系统中。您可以在创建 DRA 时从链接的数据存储库加载元数据,或者在稍后使用导入数据存储库任务时为您要通过 FSx for Lustre 文件系统访问的批量文件和目录加载元数据,或者在对象添加到数据存储库、在其中发生更改或者从中删除时通过自动导出自动加载元数据。

您可以将 DRA 配置为仅用于自动导入、仅用于自动导出或同时用于两者。同时用于自动导入和自动导出的数据存储库关联在文件系统和关联 S3 存储桶之间双向传播数据。当您对 S3 数据存储库中的数据进行更改时,FSx for Lustre 会检测到更改,然后自动将更改导入您的文件系统。当您创建、修改或删除文件时,Amazon FSx for Lustre 将在您的应用程序完成文件修改后,自动异步将更改导出到 Amazon S3。

重要
  • 如果您在文件系统和 S3 桶中修改同一个文件,您应该确保应用程序级协调以防止冲突。FSx for Lustre 无法防止在多个位置发生写入冲突。

  • 对于标有不可变属性的文件,FSx for Lustre 无法在 FSx for Lustre 文件系统与文件系统的链接 S3 桶之间同步更改。长时间设置不可变标志可能会导致 Amazon FSx 和 S3 之间的数据移动性能降低。

在创建数据存储库关联时,您可以配置以下属性:

  • 文件系统路径 – 输入文件系统上的本地路径,该路径指向将与下面指定的数据存储库路径一一映射的目录(例如 /ns1/)或子目录(例如 /ns1/subdir/)。名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如,如果数据存储库与文件系统路径 /ns1 相关联,则您无法将另一个数据存储库与文件系统路径 /ns1/ns2 相关联。

    注意

    如果您仅指定正斜杠 (/) 作为文件系统路径,则只能将一个数据存储库链接到文件系统。您只能将“/”指定为与文件系统相关联的第一个数据存储库的文件系统路径。

  • 数据存储库路径 – 输入 S3 数据存储库中的路径。该路径可以是 S3 存储桶或格式 s3://bucket-name/prefix/ 的前缀。该路径指定 S3 数据存储库文件将从中导入或导出到的位置。FSx for Lustre 将在您的数据存储库路径后面附加一个尾部斜杠“/”。例如,如果您提供的数据存储库路径为 s3://amzn-s3-demo-bucket/my-prefix,则 FSx for Lustre 会将其解释为 s3://amzn-s3-demo-bucket/my-prefix/

    两个数据存储库关联不能具有重叠的数据存储库路径。例如,如果采用路径 s3://amzn-s3-demo-bucket/my-prefix/ 的数据存储库与文件系统路径相关联,则您无法将另一个数据存储库与文件系统路径 s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix 相关联。

  • 从存储库导入元数据 – 您可以选择此选项,在创建数据存储库关联后立即从整个数据存储库导入元数据。或者,您可以在创建数据存储库关联后随时运行导入数据存储库任务,将链接的数据存储库中的全部或部分元数据加载到文件系统。

  • 导入设置 – 选择一个导入策略,用于指定更新对象的类型(新对象、已更改和已删除对象的任意组合),这些对象将自动从链接的 S3 桶导入文件系统。自动导入(新、已更改、已删除)在您从控制台添加数据存储库时默认启用,但在您使用 AWS CLI 或 Amazon FSx API 时默认禁用。

  • 导出设置 – 选择一个导出策略,用于指定更新对象的类型(新对象、已更改和已删除对象的任意组合),这些对象将自动导出到 S3 桶。自动导出(新、已更改、已删除)在您从控制台添加数据存储库时默认启用,但在您使用 AWS CLI 或 Amazon FSx API 时默认禁用。

文件系统路径数据存储库路径设置使 Amazon FSx 中的路径与 S3 中的对象键 1:1 映射。