使用数据存储库任务来释放文件 - FSx for Lustre

使用数据存储库任务来释放文件

按照以下步骤创建任务,通过 Amazon FSx 控制台和 CLI 从文件系统中释放文件。释放文件会保留文件列表和元数据,但会删除该文件内容的本地副本。

  1. 通过以下网址打开 Amazon FSx 控制台:https://console.aws.amazon.com/fsx/

  2. 在左侧导航窗格中,选择文件系统,然后选择您的 Lustre 文件系统。

  3. 选择数据存储库选项卡。

  4. 数据存储库关联窗格中,选择您要为其创建释放任务的数据存储库关联。

  5. 操作中,选择创建释放任务。仅当文件系统链接到 S3 上的数据存储库时,此选项才可用。创建释放数据存储库任务对话框会显示。

  6. 要释放的文件系统路径中,通过提供目录或文件的路径,最多指定从 Amazon FSx 文件系统中释放 32 个目录或文件。您提供的路径必须与文件系统的挂载点相关。例如,如果挂载点是 /mnt/fsx/mnt/fsx/path1 是您要释放的文件系统上的文件,则要提供的路径是 path1。要释放文件系统中的所有文件,请指定正斜杠(/)作为路径。

    注意

    如果您提供的路径无效,则任务失败。

  7. 对于自上次访问以来的最短持续时间,请指定持续时间(以天为单位),以便释放该持续时间内未被访问的文件。上次访问时间是使用 atimemtimectime 的最大值计算得出。如果文件的上次访问持续时间长于自上次访问以来的最短持续时间(相对于任务创建时间),则该文件将被释放。如果文件的上次访问持续时间少于此天数,即使文件位于要释放的文件系统路径字段,文件也不会被释放。提供 0 天持续时间,在不管自上次访问以来的持续时间的情况下释放文件。

  8. (可选)在完成报告下,选择启用以生成任务完成报告,该报告提供关于符合报告范围内范围的文件的详细信息。要指定 Amazon FSx 提交报告的位置,请在报告路径中输入文件系统链接的 S3 数据存储库上的相对路径。

  9. 选择创建数据存储库任务

    文件系统页面顶部的通知会显示您刚刚创建的任务正在进行中。

要查看任务状态和详细信息,请在数据存储库选项卡中向下滚动到数据存储库任务。默认排序顺序在列表前面显示最近的任务。

要从此页面查看任务摘要,请选择您刚刚创建的任务的任务 ID

  • 使用 create-data-repository-task CLI 命令创建任务,用于释放 FSx for Lustre 文件系统上的文件。相应的 API 操作是 CreateDataRepositoryTask

    设置以下参数:

    • --file-system-id 设置为要从中释放文件的文件系统的 ID。

    • --paths 设置为要从中释放数据的文件系统上的路径。如果已指定目录,则该目录中的文件会被释放。如果已指定文件路径,则仅该文件会被释放。要释放文件系统中已导出到链接的 S3 桶的所有文件,请为路径指定正斜杠(/)。

    • --type 设置为 RELEASE_DATA_FROM_FILESYSTEM

    • 设置 --release-configuration DurationSinceLastAccess 选项,如下所示:

      • Unit – 设置为 DAYS

      • Value – 指定一个整数来表示持续时间(以天为单位),以便该持续时间内未访问的文件应该被释放。对于在少于此天数的时间段内访问的文件,文件即使位于 --paths 参数中,也不会被释放。提供 0 天持续时间,在不管自上次访问以来的持续时间的情况下释放文件。

    此示例命令指定已导出到链接的 S3 桶且符合 --release-configuration 条件的文件将从指定路径的目录中释放。

    $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type RELEASE_DATA_FROM_FILESYSTEM \ --paths path1,path2/file1 \ --release-configuration '{"DurationSinceLastAccess":{"Unit":"DAYS","Value":10}}' \ --report Enabled=false

    成功创建数据存储库任务后,Amazon FSx 以 JSON 格式返回任务描述。

创建文件发布任务后,您可以检查任务的状态。有关如何查看数据存储库任务的更多信息,请参阅访问数据存储库任务