数据存储库任务 - FSx for Lustre

数据存储库任务

使用导入和导出数据存储库任务,可以管理 FSx for Lustre 文件系统与 Amazon S3 上的任何持久数据存储库之间的数据和元数据传输。

数据存储库任务可优化 FSx for Lustre 文件系统与 S3 上的数据存储库之间的数据和元数据传输。它们通过跟踪 Amazon FSx 文件系统与其所关联的数据存储库之间的更改来实现这一功能。此外,为了实现这一功能,它们还使用并行传输技术以高达数百 GB/s 的速度来传输数据。您可以使用 Amazon FSx 控制台、AWS CLI 和 Amazon FSx API 来创建和查看数据存储库任务。

数据存储库任务可维护文件系统的可移植操作系统接口(POSIX)元数据,包括所有权、权限和时间戳。由于任务会维护这些元数据,因此您可以在 FSx for Lustre 文件系统与其关联的数据存储库之间实施和维护访问控制。

您可以使用释放数据存储库任务,通过释放导出到 Amazon S3 的文件,为新文件腾出文件系统空间。文件释放后,其内容将被删除,但其元数据仍会保留在文件系统中。用户和应用程序仍然可以通过读取已释放文件再次访问该文件。用户或应用程序读取已释放文件时,FSx for Lustre 会以透明方式从 Amazon S3 中检索文件内容。

数据存储库任务的类型

数据存储库任务有三种类型:

  • 导出数据存储库任务,从 Lustre 文件系统导出到关联的 S3 存储桶。

  • 导入数据存储库任务,从关联的 S3 存储桶导入到 Lustre 文件系统。

  • 释放数据存储库任务,释放从 Lustre 文件系统导出到关联的 S3 存储桶的文件。

有关更多信息,请参阅 创建数据存储库任务