本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

用于工作流程任务的临时存储 HealthOmics

HealthOmics 使用目录为工作流任务提供临时存储。/tmp此存储空间是临时的，对于工作流程中的每项任务来说都是唯一的。 HealthOmics 默认情况下，会为每个任务实例分配 16 GiB 的临时存储空间。在工作流程定义中，您可以增加分配给各个任务的临时存储量，每个任务最多可达 3,072 GiB。存储在中的所有数据/tmp都是静态加密的。

主要优势

临时存储的工作原理

启用临时存储时，会在每个/tmp工作流程任务实例上 HealthOmics 安装一个专用的本地存储卷。临时存储用于存储任务执行期间生成的临时文件。任务终止时，临时存储卷总是会被删除。写入/tmp的数据无法保存、导出，也无法供其他任务或后续运行访问。

工作流程在哪里写入临时文件

当任务进程直接从头开始时，工作流程将受益于临时存储。 I/O /tmp在任务执行期间，生物信息学工作流程语言使用/tmp目录（和$TMPDIR环境变量）来存储临时的、短暂的中间文件。$TMP确保您的任务命令未映射$TMPDIR到其他位置。

写入的工作流任务进程在启用后/tmp会自动使用临时存储，无需更改工作流程。尽管使用的工具可能会利用临时存储，但未明确/tmp将暂存进程定向到的工作流会将临时数据写入用于运行存储的共享文件系统/tmp上的工作目录。

静态加密

所有临时存储都使用服务托管密钥进行静态加密。 AWS KMS 加速计算实例使用每个卷的唯一密钥进行硬件加密，该密钥将在实例终止时销毁。

Permissions

HealthOmics 代表您管理临时存储卷的附件和生命周期。您的任务执行角色不需要其他 IAM 权限。

启用临时存储

您可以通过在 StartRun API scratchStorageMode 中 I/O 进行设置将临时重定向到本地存储。该scratchStorageMode设置仅适用于 CPU 实例，并适用于该运行中的所有任务。

scratchStorageMode确定您的工作流程在哪里写入临时数据。可能的值：

有关更多信息，请参阅 开始跑步 HealthOmics。

选择使用临时存储

要为运行启用临时存储，请scratchStorageMode将其设置为开始运行LOCAL时。

aws omics start-run \
    --workflow-id workflow-id \
    --role-arn arn:aws:iam::123456789012:role/OmicsServiceRole \
    --output-uri s3://amzn-s3-demo-bucket/output-folder/ \
    --parameters file:///path/to/parameters.json \
    --scratch-storage-mode LOCAL

对于批量运行，请传scratchStorageMode入defaultRunSetting。该设置适用于批次中的每次运行。

aws omics start-run-batch \
    --batch-name "my-batch" \
    --default-run-setting '{
      "workflowId": "workflow-id",
      "roleArn": "arn:aws:iam::123456789012:role/OmicsServiceRole",
      "outputUri": "s3://amzn-s3-demo-bucket/output-folder/",
      "storageType": "DYNAMIC",
      "parameters": {"referenceUri": "s3://amzn-s3-demo-bucket/reference.fasta"},
      "scratchStorageMode": "LOCAL"
    }' \
    --batch-run-settings '{
      "inlineSettings": [
        {
          "runSettingId": "sample-A",
          "parameters": {"inputUri": "s3://amzn-s3-demo-bucket/sampleA.fastq"}
        },
        {
          "runSettingId": "sample-B",
          "parameters": {"inputUri": "s3://amzn-s3-demo-bucket/sampleB.fastq"}
        }
      ]
    }'

选择退出临时存储

要禁用特定运行的临时存储（例如，隔离故障），请将设置为。scratchStorageMode SHARED

aws omics start-run \
     --workflow-id workflow-id \
     --role-arn arn:aws:iam::123456789012:role/OmicsServiceRole \
     --output-uri s3://amzn-s3-demo-bucket/output-folder/ \
     --scratch-storage-mode SHARED

如果scratchStorageMode是SHARED，则工作流程定义中的所有指令disk和等效指令都将被忽略并/tmp由共享文件系统支持。此设置仅适用于 CPU 实例。GPU 任务始终使用本地 NVMe 临时存储，且无法选择退出。

检查有效模式

默认情况下，临时存储处于关闭状态。StartRun请求中省略时scratchStorageMode，设置scratchStorageMode为SHARED（默认）。

scratchStorageMode只有在StartRun请求中明确传递时，才会在GetRun响应中返回。 SHARED如果省略，则为默认值。GetRun致电确认跑步的有效存储模式。

aws omics get-run --id run-id

默认存储分配

所有标准、计算和实例类型的默认临时存储分配为每个任务 16 GiB。 Memory-optimized您无需指定指disk令即可接收此默认值。要配置额外的存储空间，请使用指disk令。在工作流程定义中，您可以增加分配给各个任务的临时存储量，每个任务最多可达 3,072 GiB。您需要为超过默认 16 GiB 的存储空间付费。

临时存储可以以 16 GiB 为增量进行配置。有关更多信息，请参阅 支持的尺寸。

用于加速计算实例的临时存储

GPU 实例存储容量因实例类型而异，且不收取额外费用。

GPU 任务始终使用本地 NVMe 临时存储。开scratchStorageMode启的设置StartRun不适用于 GPU 任务，将此值设置为SHARED不会对 GPU 实例产生任何影响。容量因实例类型而异，无法使用该disk指令进行自定义。NVMe 容量由为任务cpumemory、和acceleratorType要求选择的实例类型预先确定。

配置临时存储大小

如果设置scratchStorageMode为LOCAL，则可以使用工作流程定义中的disk指令（或等效指令）请求增加每项任务的临时存储空间。 HealthOmics 将该disk指令视为提示，并提供一个四舍五入到接下来的 16 GiB 的音量。该disk指令的使用不会影响实例类型的选择。仅基于cpumemory、和选择实例类型acceleratorType。有关更多信息，请参阅 工作 HealthOmics 流程定义中的任务资源。

如果不存在任何disk指令，则该任务将收到默认的 16 GiB。任务的临时存储空间不能少于默认的临时存储空间。

您无需为提取的容器映像调整临时存储的大小，这些镜像是单独考虑的。有关更多信息，请参阅 私有工作流程的容器镜像。

何时使用磁盘指令

当您所选实例类型的默认临时存储空间不足以满足您的任务要求时，请在任务定义中使用该disk指令。例如，当任务向写入大量数据时/tmp。

增加短暂存储的常见应用场景

各引擎的指令语法

下表显示了每种工作流语言的等效指令。

以下示例说明如何配置请求 700 GiB 临时存储空间的任务。 HealthOmics 将其四舍五入到 704 GiB 级别。

WDL

task sort_bam {
    runtime {
        cpu:  16
        disks: "700 GiB"
    }
    command <<<
        samtools sort -T /tmp/sort_buffer ~{input_bam} -o ~{output_bam}
    >>>
}

Nextflow

process sort_bam {
    disk '700 GB'
    script:
    """
    samtools sort -T /tmp/sort_buffer ${input} -o ${output}
    """
}

CWL

requirements:
  ResourceRequirement:
    tmpdirMin: 716800   # 700 GiB expressed in MiB

有关支持的指令语法的更多信息，请参见WDL 工作流程定义细节和Nextflow 工作流程定义细节。

常用生物信息学工具和临时存储

许多生物信息学工具在执行过程中会写入大型临时文件。如果设置scratchStorageMode为LOCAL，则重定向这些工具以供使用，/tmp以便从头开始 I/O 进入快速本地卷，而不是共享的运行文件系统。以下示例显示了常用工具的相关标志。

WDL

task sort_bam {
    runtime {
        cpu:   16
        disks: "700 GiB"
    }
    command <<<
        # samtools: -T sets the temp-file prefix
        samtools sort -T /tmp/sort_buffer ~{input_bam} -o ~{sorted_bam}

        # GATK / Picard: --TMP_DIR flag (older Picard uses TMP_DIR=/tmp)
        gatk MarkDuplicates -I ~{sorted_bam} -O ~{output_bam} --TMP_DIR /tmp

        # STAR: --outTmpDir (path must not pre-exist; STAR creates it)
        STAR --runThreadN 16 --readFilesIn ~{reads} --outTmpDir /tmp/star_tmp --outFileNamePrefix out_

        # bcftools sort: -T / --temp-dir
        bcftools sort -T /tmp ~{vcf} -o ~{output_vcf}

        # GNU sort: -T / --temporary-directory
        sort -T /tmp ~{big_table} -o ~{sorted_table}
    >>>
}
# HealthOmics rounds 700 GiB up to the 704 GiB tier

Nextflow

process sort_bam {
    disk '700 GB'
    script:
    """
    # samtools: -T sets the temp-file prefix
    samtools sort -T /tmp/sort_buffer input.bam -o sorted.bam

    # GATK / Picard: --TMP_DIR flag (older Picard uses TMP_DIR=/tmp)
    gatk MarkDuplicates -I sorted.bam -O dedup.bam --TMP_DIR /tmp

    # STAR: --outTmpDir (path must not pre-exist; STAR creates it)
    STAR --runThreadN 16 --readFilesIn reads.fastq --outTmpDir /tmp/star_tmp --outFileNamePrefix out_

    # bcftools sort: -T / --temp-dir
    bcftools sort -T /tmp input.vcf -o sorted.vcf

    # GNU sort: -T / --temporary-directory
    sort -T /tmp big_table.tsv -o sorted_table.tsv
    """
}
// HealthOmics rounds 700 GB up to the 704 GiB tier

CWL

class: CommandLineTool
cwlVersion: v1.2
requirements:
  ResourceRequirement:
    coresMin: 16
    tmpdirMin: 716800          # 700 GiB expressed in MiB
baseCommand: [bash, -c]
arguments:
  - |
    set -euo pipefail

    # samtools: -T sets the temp-file prefix
    samtools sort -T /tmp/sort_buffer input.bam -o sorted.bam

    # GATK / Picard: --TMP_DIR flag (older Picard uses TMP_DIR=/tmp)
    gatk MarkDuplicates -I sorted.bam -O dedup.bam --TMP_DIR /tmp

    # STAR: --outTmpDir (path must not pre-exist; STAR creates it)
    STAR --runThreadN 16 --readFilesIn reads.fastq --outTmpDir /tmp/star_tmp --outFileNamePrefix out_

    # bcftools sort: -T / --temp-dir
    bcftools sort -T /tmp input.vcf -o sorted.vcf

    # GNU sort: -T / --temporary-directory
    sort -T /tmp big_table.tsv -o sorted_table.tsv

支持的尺寸

请求的大小将四舍五入到最接近的 16 GiB 增量，从默认的 16 GiB（16、32、48、64... 最多 3,072 GiB）开始。每个任务支持的最大大小为 3,072 GiB。

如果请求的大小超过 3,072 GiB，则预置 HealthOmics 3,072 GiB，并在运行日志中写入警告。任务不会自动失败。

支持的 WDL 磁盘形式

有关可接受的 WDL disks 表单的完整列表，请参阅支持的 WDL 磁盘形式。

使用 Nextflow 临时指令

对于 Nextflow 工作流程，您可以使用scratch指令来控制进程写入临时工作文件的位置。有关临时存储支持的值和建议用法的信息，请参阅。在 Nextflow 中高效使用临时存储

监控临时存储

HealthOmics 将每个任务的临时存储指标写入清单日志。 CloudWatch 指标包括每个任务的临时存储数据，包括每个任务的预配置卷大小 (asscratchStorageReservedGiB) 和使用情况 (asscratchStorageUtilizedGiB)。无需直接查询 CloudWatch ，即可查看清单日志，确定任务是过度配置还是配置不足。有关清单日志的详细信息，请参阅HealthOmics 使用 CloudWatch 日志进行监控。

临时存储的计费方式

您只需为在默认分配之外配置的临时存储空间付费。disk指令中超过默认值的请求将向上舍入到最接近的支持级别。

GPU 实例在实例定价中已经考虑了临时存储。GPU 任务的临时存储不收取额外费用。

注意事项和限制

对临时存储进行故障排除

任务因临时存储空间耗尽而失败

当临时存储空间达到容量时，任务就会失败。查看 CloudWatch 清单日志，确定您的任务实际使用了多少存储空间，然后添加或增加指disk令以请求更大的存储层。

# Before: 4-vCPU task using the 16 GiB default
runtime { cpu: 4 }

# After: explicitly request 400 GiB
runtime { cpu: 4, disks: "400 GiB" }

临时存储似乎未被利用

致电GetRun并查看字scratchStorageMode段。如果值为SHARED，则不为该运行启用临时存储。设--scratch-storage-mode LOCAL定下次start-run通话。

aws omics get-run --id run-id