将文件系统链接到 Amazon S3 存储桶
您可以将 Amazon FSx for Lustre 文件系统链接到 Amazon S3 中的数据存储库。您可以在创建文件系统时,或者在文件系统创建后的任何时间创建该链接。
文件系统上的目录与 S3 桶或前缀之间的链接称为数据存储库关联(DRA)。一个 FSx for Lustre 文件系统上最多可以配置 8 个数据存储库关联。最多 8 个 DRA 请求可以加入队列,但文件系统每次只能处理一个请求。每个 DRA 必须有唯一的 FSx for Lustre 文件系统目录以及唯一的 S3 桶或前缀与之关联。
注意
FSx for Lustre 2.10 文件系统或 Scratch 1
文件系统不提供数据存储库关联、自动导出和针对多个数据存储库的支持。
要以文件系统上文件和目录的形式访问 S3 数据存储库上的对象,文件和目录元数据必须加载到文件系统中。您可以在创建 DRA 时从链接的数据存储库加载元数据,或者在稍后使用导入数据存储库任务时为您要通过 FSx for Lustre 文件系统访问的批量文件和目录加载元数据,或者在对象添加到数据存储库、在其中发生更改或者从中删除时通过自动导出自动加载元数据。
您可以将 DRA 配置为仅用于自动导入、仅用于自动导出或同时用于两者。同时用于自动导入和自动导出的数据存储库关联在文件系统和关联 S3 存储桶之间双向传播数据。当您对 S3 数据存储库中的数据进行更改时,FSx for Lustre 会检测到更改,然后自动将更改导入您的文件系统。当您创建、修改或删除文件时,Amazon FSx for Lustre 将在您的应用程序完成文件修改后,自动异步将更改导出到 Amazon S3。
重要
如果您在文件系统和 S3 桶中修改同一个文件,您应该确保应用程序级协调以防止冲突。FSx for Lustre 无法防止在多个位置发生写入冲突。
对于标有不可变属性的文件,FSx for Lustre 无法在 FSx for Lustre 文件系统与文件系统的链接 S3 桶之间同步更改。长时间设置不可变标志可能会导致 Amazon FSx 和 S3 之间的数据移动性能降低。
在创建数据存储库关联时,您可以配置以下属性:
-
文件系统路径 – 输入文件系统上的本地路径,该路径指向将与下面指定的数据存储库路径一一映射的目录(例如
/ns1/
)或子目录(例如/ns1/subdir/
)。名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如,如果数据存储库与文件系统路径/ns1
相关联,则您无法将另一个数据存储库与文件系统路径/ns1/ns2
相关联。注意
如果您仅指定正斜杠 (
/
) 作为文件系统路径,则只能将一个数据存储库链接到文件系统。您只能将“/”指定为与文件系统相关联的第一个数据存储库的文件系统路径。 -
数据存储库路径 – 输入 S3 数据存储库中的路径。该路径可以是 S3 存储桶或格式
s3://
的前缀。该路径指定 S3 数据存储库文件将从中导入或导出到的位置。FSx for Lustre 将在您的数据存储库路径后面附加一个尾部斜杠“/”。例如,如果您提供的数据存储库路径为bucket-name
/prefix
/s3://amzn-s3-demo-bucket/my-prefix
,则 FSx for Lustre 会将其解释为s3://amzn-s3-demo-bucket/my-prefix/
。两个数据存储库关联不能具有重叠的数据存储库路径。例如,如果采用路径
s3://amzn-s3-demo-bucket/my-prefix/
的数据存储库与文件系统路径相关联,则您无法将另一个数据存储库与文件系统路径s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix
相关联。 -
从存储库导入元数据 – 您可以选择此选项,在创建数据存储库关联后立即从整个数据存储库导入元数据。或者,您可以在创建数据存储库关联后随时运行导入数据存储库任务,将链接的数据存储库中的全部或部分元数据加载到文件系统。
-
导入设置 – 选择一个导入策略,用于指定更新对象的类型(新对象、已更改和已删除对象的任意组合),这些对象将自动从链接的 S3 桶导入文件系统。自动导入(新、已更改、已删除)在您从控制台添加数据存储库时默认启用,但在您使用 AWS CLI 或 Amazon FSx API 时默认禁用。
-
导出设置 – 选择一个导出策略,用于指定更新对象的类型(新对象、已更改和已删除对象的任意组合),这些对象将自动导出到 S3 桶。自动导出(新、已更改、已删除)在您从控制台添加数据存储库时默认启用,但在您使用 AWS CLI 或 Amazon FSx API 时默认禁用。
文件系统路径和数据存储库路径设置使 Amazon FSx 中的路径与 S3 中的对象键 1:1 映射。