将您的文件系统关联到 Amazon S3 存储桶 - FSx为了光泽

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将您的文件系统关联到 Amazon S3 存储桶

您可以将您的 Amazon f FSx or Lustre 文件系统链接到 Amazon S3 中的数据存储库。您可以在创建文件系统时,或者在文件系统创建后的任何时间创建该链接。

文件系统上的目录与 S3 存储桶或前缀之间的链接称为数据存储库关联 (DRA)。在 for Lustre 文件系统上,您最多可以配置 8 个数据存储库关联。FSx最多可以排队 8 个DRA请求,但对于文件系统,一次只能处理一个请求。每个目录都DRA必须有一个唯一的 f FSx or Lustre 文件系统目录以及与之关联的唯一的 S3 存储桶或前缀。

注意

Lustre 2.10 文件系统或Scratch 1文件系统不支持数据存储库关联、自动导出和FSx对多个数据存储库的支持。

要以文件系统上文件和目录的形式访问 S3 数据存储库上的对象,文件和目录元数据必须加载到文件系统中。在稍后使用导入数据存储库任务为要使用 for Lustre 文件系统访问的批量文件和目录创建DRA或加载元数据时,可以从链接的数据存储库加载元数据,也可以使用自动导出在数据存储库中添加对象、更改对象或从数据存储库中删除对象时自动加载元数据。FSx

您可以将配置为仅DRA用于自动导入、仅用于自动导出或两者兼而有之。同时用于自动导入和自动导出的数据存储库关联在文件系统和关联 S3 存储桶之间双向传播数据。当您对 S3 数据存储库中的数据进行更改时,FSxfor Lustre 会检测到这些更改,然后自动将更改导入您的文件系统。在您创建、修改或删除文件时,一旦您的应用程序完成文件修改,FSxFor Lustre 就会自动将更改异步导出到 Amazon S3。

重要
  • 如果您在文件系统和 S3 桶中修改同一个文件,您应该确保应用程序级协调以防止冲突。FSxfor Lustre 并不能防止在多个位置发生冲突的写入。

  • 对于标有不可变属性的文件,FSxfor Lustre 无法在您FSx的 for Lustre 文件系统和链接到文件系统的 S3 存储桶之间同步更改。长时间设置不可变标志可能会导致 Amazon FSx 和 S3 之间的数据移动性能降低。

在创建数据存储库关联时,您可以配置以下属性:

  • 文件系统路径-输入文件系统上的本地路径,该路径指向将映射 one-to-one 到以下指定数据存储库路径的目录(例如 /ns1//ns1/subdir/)或子目录(例如)。名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如,如果数据存储库与文件系统路径 /ns1 相关联,则您无法将另一个数据存储库与文件系统路径 /ns1/ns2 相关联。

    注意

    如果您仅指定正斜杠 (/) 作为文件系统路径,则只能将一个数据存储库链接到文件系统。您只能将“/”指定为与文件系统相关联的第一个数据存储库的文件系统路径。

  • 数据存储库路径 – 输入 S3 数据存储库中的路径。该路径可以是 S3 存储桶或格式 s3://bucket-name/prefix/ 的前缀。该路径指定 S3 数据存储库文件将从中导入或导出到的位置。FSx如果您不提供尾随的 “/”,for Lustre 将在您的数据存储库路径后面追加一个 “/”。例如,如果您提供的数据存储库路径为s3://amzn-s3-demo-bucket/my-prefix,FSx则 Lustre 会将其解释为s3://amzn-s3-demo-bucket/my-prefix/

    两个数据存储库关联不能具有重叠的数据存储库路径。例如,如果采用路径 s3://amzn-s3-demo-bucket/my-prefix/ 的数据存储库与文件系统路径相关联,则您无法将另一个数据存储库与文件系统路径 s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix 相关联。

  • 从存储库导入元数据 – 您可以选择此选项,在创建数据存储库关联后立即从整个数据存储库导入元数据。或者,您可以在创建数据存储库关联后随时运行导入数据存储库任务,将链接的数据存储库中的全部或部分元数据加载到文件系统。

  • 导入设置 – 选择一个导入策略,用于指定更新对象的类型(新对象、已更改和已删除对象的任意组合),这些对象将自动从链接的 S3 桶导入文件系统。当您从控制台添加数据存储库时,自动导入(新建、已更改、已删除)在默认情况下处于启用状态,但在使用 AWS CLI 或 Amazon 时则默认处于禁用状态FSxAPI。

  • 导出设置 – 选择一个导出策略,用于指定更新对象的类型(新对象、已更改和已删除对象的任意组合),这些对象将自动导出到 S3 桶。当您从控制台添加数据存储库时,自动导出(新建、已更改、已删除)默认处于启用状态,但在使用 AWS CLI 或 Amazon 时则默认处于禁用状态FSxAPI。

文件系统路径数据存储库路径设置提供了 Amazon 中的路径FSx和 S3 中的对象密钥之间的 1:1 映射。