使用数据存储库任务导入更改 - FSx for Lustre

使用数据存储库任务导入更改

导入数据存储库任务会导入 S3 数据存储库中新对象或已更改对象的元数据，从而为 S3 数据存储库中的任何新对象创建新的文件或目录列表。对于数据存储库中已更改的任何对象，相应的文件或目录列表都将使用新的元数据进行更新。不对已从数据存储库中删除的对象采取任何操作。

按照以下步骤通过 Amazon FSx 控制台和 CLI 导入元数据更改。请注意，您可以将一个数据存储库任务用于多个 DRA。

  1. 通过以下网址打开 Amazon FSx 控制台：https://console.aws.amazon.com/fsx/。

  2. 在导航窗格上，选择文件系统，然后选择您的 Lustre 文件系统。

  3. 选择数据存储库选项卡。

  4. 在数据存储库关联窗格中，选择您要为其创建导入任务的数据存储库关联。

  5. 从操作菜单中选择运行任务。如果文件系统未链接到数据存储库，则此选项不可用。创建导入数据存储库任务页面会显示。

  6. （可选）通过在要导入的数据存储库路径中提供目录或文件的路径，最多指定从链接的 S3 桶中导入 32 个目录或文件。

    注意

    如果您提供的路径无效，则任务失败。

  7. （可选）在完成报告下选择启用，以便在任务完成后生成任务完成报告。任务完成报告提供有关任务处理的、符合报告范围中范围的文件的详细信息。要指定 Amazon FSx 提交报告的位置，请在报告路径中输入链接的 S3 数据存储库上的相对路径。

  8. 选择创建。

    文件系统页面顶部的通知会显示您刚刚创建的任务正在进行中。

要查看任务状态和详细信息，请在文件系统的数据存储库选项卡中向下滚动到数据存储库任务窗格。默认排序顺序在列表前面显示最近的任务。

要从此页面查看任务摘要，请选择您刚刚创建的任务的任务 ID。任务的摘要页面会显示。

  • 使用 create-data-repository-task CLI 命令导入 FSx for Lustre 文件系统上的元数据更改。相应的 API 操作是 CreateDataRepositoryTask。

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type IMPORT_METADATA_FROM_REPOSITORY \
    --paths s3://bucketname1/dir1/path1 \
    --report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY

    成功创建数据存储库任务后，Amazon FSx 以 JSON 格式返回任务描述。

创建旨在从链接的数据存储库导入元数据的任务后，您可以检查导入数据存储库任务的状态。有关如何查看数据存储库任务的更多信息，请参阅访问数据存储库任务。