View a markdown version of this page

在服务管理的队列中使用工作附件 - 截止日期云
选择文件系统模式优化传输性能下载作业输出

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在服务管理的队列中使用工作附件

任务附件使用亚马逊简单存储服务 (Amazon S3) 在您的工作站和 Deadline Cloud 工作人员之间传输文件。您可以单独使用作业附件，也可以与共享存储一起使用将辅助数据附加到未与其他作业共享的作业，例如作业脚本、配置文件或存储在本地的项目资产。

有关作业附件工作原理的信息，请参阅《Deadl ine Cloud 用户指南》中的作业附件。有关在任务包中指定输入和输出文件的详细信息，请参阅使用作业附件共享文件。

选择文件系统模式

提交带附件的任务时，您可以通过设置fileSystem属性来选择工作人员如何从 Amazon S3 加载文件：

  • 已复制（默认）-在任务开始之前将所有文件下载到本地磁盘。当每项任务都需要大多数输入文件时，效果最佳。

  • 虚拟 — 装载按需下载文件的虚拟文件系统。当任务只需要一部分输入文件时，效果最佳。仅在 Linux SMF 工作人员上可用。

重要

虚拟模式缓存会增加内存消耗，并且未针对所有工作负载进行优化。我们建议您在运行生产任务之前测试工作负载。

有关配置文件系统模式的详细信息，请参阅《Deadl ine Cloud 用户指南》中的虚拟文件系统。

优化传输性能

将文件从 Amazon S3 同步到 SMF 工作人员的速度取决于您的队列的亚马逊弹性区块存储 (Amazon EBS) 卷配置。默认情况下，SMF 工作人员使用具有基准性能设置的 gp3 亚马逊 EBS 卷。对于包含大型输入文件或许多小文件的工作负载，您可以通过提高 Amazon EBS 吞吐量和 IOPS 设置来提高传输速度。您可以使用 AWS Command Line Interface (AWS CLI) 更新这些设置。

吞吐量 (MiB/s)

从卷中读取数据或向卷写入数据的速率。默认值为 125 MiB/s，gp3 卷的最大值 MiB/s 为 1,000。对于大型连续文件传输，则增加。

IOPS

Input/output 每秒操作数。默认值为 3,000 IOPS，gp3 卷的最大值为 16,000 IOPS。传输许多小文件时增加。

注意

提高亚马逊 EBS 吞吐量和 IOPS 会增加机队成本。有关定价信息，请参阅 De adline Cloud 定价。

要更新现有机队上的 Amazon EBS 设置，请使用 AWS CLI

  • 运行以下命令：

    aws deadline update-fleet \
  --farm-id farm-0123456789abcdef0 \
  --fleet-id fleet-0123456789abcdef0 \
  --configuration '{
    "serviceManagedEc2": {
      "instanceCapabilities": {
        "vCpuCount": {"min": 4},
        "memoryMiB": {"min": 8192},
        "osFamily": "linux",
        "cpuArchitectureType": "x86_64",
        "rootEbsVolume": {
          "sizeGiB": 250,
          "iops": 6000,
          "throughputMiB": 500
        }
      },
      "instanceMarketOptions": {"type": "spot"}
    }
  }'

下载作业输出

任务完成后，使用 Deadline Cloud CLI 或 Deadline 云监视器（ AWS 截止日期云监视器）下载输出文件：

deadline job download-output --job-id job-0123456789abcdef0

有关任务完成后自动下载输出的信息，请参阅《Deadl ine Cloud 用户指南》中的自动下载。