翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Nextflow ワークフロー定義の詳細

HealthOmics は Nextflow DSL1 と DSL2 をサポートしています。詳細については、「Nextflow バージョンのサポート」を参照してください。

Nextflow DSL2 は Groovy プログラミング言語に基づいているため、パラメータは動的であり、型強制は Groovy と同じルールを使用して可能です。入力 JSON によって提供されるパラメータと値は、ワークフローのパラメータ (params) マップで使用できます。

nf-schema プラグインと nf-validation プラグインを使用する

HealthOmics は Nextflow プラグインに対して次のサポートを提供します。

ストレージ URIs

Amazon S3 または HealthOmics URI を使用して Nextflow ファイルまたはパスオブジェクトを作成すると、読み取りアクセスが付与されている限り、一致するオブジェクトがワークフローで使用できるようになります。Amazon S3 URIs では、プレフィックスまたはディレクトリを使用できます。例については、Amazon S3 入力パラメータ形式 を参照してください。

HealthOmics は、Amazon S3 URI または HealthOmics Storage URI での glob URIs。 URIs HealthOmics path または fileチャネルの作成には、ワークフロー定義で Glob パターンを使用します。予想される動作と正確なケースについては、「」を参照してくださいNextflow Amazon S3 入力での Glob パターンの処理。

Nextflow ディレクティブ

Nextflow ディレクティブは、Nextflow 設定ファイルまたはワークフロー定義で設定します。次のリストは、HealthOmics が構成設定を適用するために使用する優先順位を、優先順位の低いものから最も高いものまで示しています。

を使用したタスク再試行戦略 errorStrategy

errorStrategy ディレクティブを使用して、タスクエラーの戦略を定義します。デフォルトでは、タスクがエラー表示 (ゼロ以外の終了ステータス) で戻ると、タスクは停止し、HealthOmics は実行全体を終了します。errorStrategy を に設定するとretry、HealthOmics は失敗したタスクを 1 回再試行します。再試行回数を増やすには、「」を参照してくださいを使用したタスクの再試行 maxRetries。

process {
    label 'my_label'
    errorStrategy 'retry'

    script:
    """
    your-command-here
    """
}   

HealthOmics が実行中にタスクの再試行を処理する方法については、「」を参照してくださいタスクの再試行。

を使用したタスクの再試行 maxRetries

デフォルトでは、HealthOmics は失敗したタスクの再試行を試行しないか、 を設定すると 1 回の再試行を試行しますerrorStrategy。最大再試行回数を増やすには、 errorStrategyを に設定retryし、 maxRetriesディレクティブを使用して最大再試行回数を設定します。

次の例では、グローバル設定で最大再試行回数を 3 に設定します。

process {
    errorStrategy = 'retry'
    maxRetries = 3
}     

次の例は、ワークフロー定義のタスクセクションmaxRetriesで を設定する方法を示しています。

process myTask {
    label 'my_label'
    errorStrategy 'retry'
    maxRetries 3
    
    script:
    """
    your-command-here
    """
}   

次の例は、名前またはラベルセレクタに基づいて、Nextflow 設定ファイルでタスク固有の設定を指定する方法を示しています。

process {
    withLabel: 'my_label' {
        errorStrategy = 'retry'
        maxRetries = 3
    }

    withName: 'myTask' {
        errorStrategy = 'retry'
        maxRetries = 3
    }
}   

を使用してタスクの再試行をオプトアウトする omicsRetryOn5xx

Nextflow v23 以降では、サービスエラー (5XX HTTP ステータスコード) が原因でタスクが失敗した場合、HealthOmics はタスクの再試行をサポートします。デフォルトでは、HealthOmics は失敗したタスクを最大 2 回再試行します。

サービスエラーのタスク再試行をオプトアウトomicsRetryOn5xxするように を設定できます。HealthOmics でのタスクの再試行の詳細については、「」を参照してくださいタスクの再試行。

次の例では、タスクの再試行をオプトアウトするように グローバル設定omicsRetryOn5xxで を設定します。

process {
    omicsRetryOn5xx = false
}     

次の例は、ワークフロー定義のタスクセクションomicsRetryOn5xxで を設定する方法を示しています。

process myTask {
    label 'my_label'
    omicsRetryOn5xx = false
    
    script:
    """
    your-command-here
    """
}   

次の例は、名前またはラベルセレクタに基づいて、Nextflow 設定ファイルでタスク固有の設定omicsRetryOn5xxとして を設定する方法を示しています。

process {
    withLabel: 'my_label' {
        omicsRetryOn5xx = false
    }

    withName: 'myTask' {
        omicsRetryOn5xx = false
    }
}   

time ディレクティブを使用したタスク期間

HealthOmics は、実行の最大期間を指定するための調整可能なクォータを提供します (「」を参照HealthOmics サービスクォータ)。Nextflow v23 以降のワークフローでは、Nextflow timeディレクティブを使用して最大タスク期間を指定することもできます。

新しいワークフロー開発中に最大タスク期間を設定すると、実行可能なタスクと長時間実行されるタスクをキャッチするのに役立ちます。

Nextflow 時間ディレクティブの詳細については、Nextflow リファレンスの「時間ディレクティブ」を参照してください。

HealthOmics は、Nextflow 時間ディレクティブに対して次のサポートを提供します。

タイムアウト期間は、、ms、、mhまたは の 1 sつ以上の単位を使用して指定しますd。

次の例は、Nextflow 設定ファイルでグローバル設定を指定する方法を示しています。グローバルタイムアウトを 1 時間 30 分に設定します。

process {
    time = '1h30m'
}     

次の例は、ワークフロー定義のタスクセクションでタイムディレクティブを指定する方法を示しています。この例では、タイムアウトを 3 日、5 時間、4 分に設定します。この値は、設定ファイルのグローバル値よりも優先されますが、設定ファイルの my_labelのタスク固有の時間ディレクティブよりも優先されません。

process myTask {
    label 'my_label'
    time '3d5h4m'
        
    script:
    """
    your-command-here
    """
}     

次の例は、名前またはラベルセレクタに基づいて、Nextflow 設定ファイルでタスク固有の時間ディレクティブを指定する方法を示しています。この例では、グローバルタスクのタイムアウト値を 30 分に設定します。タスクには 2 時間の値を設定しmyTask、ラベルが のタスクには 3 時間の値を設定しますmy_label。セレクターに一致するタスクの場合、これらの値はグローバル値とワークフロー定義の値よりも優先されます。

process {
    time = '30m'
    
    withLabel: 'my_label' {
        time = '3h'  
    }

    withName: 'myTask' {
        time = '2h'  
    }
}     

Nextflow プロファイルを使用する

Nextflow プロファイルは、実行時に選択できる構成設定の名前付きセットです。nextflow.config ファイルの profilesブロックでプロファイルを定義します。

profiles {
    standard {
        process.cpus = 2
        process.memory = '4 GB'
    }

    production {
        process.cpus = 16
        process.memory = '64 GB'
        params.input = 's3://bucket/production-data.bam'
    }
}

実行を開始するときは、 engineSettingsパラメータを使用して 1 つ以上のプロファイルを指定します。HealthOmics は Nextflow エンジンに -profileフラグを渡します。詳細については、「Nextflow エンジン設定の指定」を参照してください。

aws omics start-run \
  --workflow-id workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket/prefix/ \
  --engine-settings '{"profile": "production"}'

複数のプロファイルが指定されている場合 ( など"test,docker")、Nextflow はコマンドラインで指定された順序でプロファイルを適用します。後のプロファイルは、競合する設定の以前のプロファイルを上書きします。26 より前の Nextflow バージョンでは、プロファイルはコマンドライン順ではなく設定ファイルで定義されている順序で適用されます。

次の点に注意してください。

ワークフローレベルのコンテンツをエクスポートする

Nextflow v25.10 以降では、出所レポートやパイプライン DAGs など、個々のタスクの外部で生成されたファイルをエクスポートできます。これらのファイルをエクスポートするには、 に書き込みます/mnt/workflow/output/。HealthOmics は、このディレクトリに配置されたファイルを、実行の Amazon S3 出力場所の output/ プレフィックスにエクスポートします。

次の例は、 に出典レポートを書き込むようにnf-provプラグインを設定する方法を示しています/mnt/workflow/output/。

prov {
    formats {
        bco {
            file = "/mnt/workflow/output/pipeline_info/manifest.bco.json"
        }
    }
}

このパスは、実行の入力 JSON のパラメータとして渡すこともできます。このアプローチは、 を使用する nf-core ワークフローで一般的ですparams.outdir。

{
    "outdir": "/mnt/workflow/output/"
}

タスクコンテンツのエクスポート

Nextflow で記述されたワークフローの場合、タスクコンテンツを出力 Amazon S3 バケットにエクスポートする publishDir ディレクティブを定義します。次の例に示すように、publishDir 値を に設定します/mnt/workflow/pubdir。Amazon S3 にファイルをエクスポートするには、ファイルがこのディレクトリにある必要があります。

 nextflow.enable.dsl=2
              
  workflow {
    CramToBamTask(params.ref_fasta, params.ref_fasta_index, params.ref_dict, params.input_cram, params.sample_name)
    ValidateSamFile(CramToBamTask.out.outputBam)
  }
  
  process CramToBamTask {
    container "<account>.dkr.ecr.us-west-2.amazonaws.com/genomes-in-the-cloud"
  
    publishDir "/mnt/workflow/pubdir"
  
    input:
        path ref_fasta
        path ref_fasta_index
        path ref_dict
        path input_cram
        val sample_name
  
    output:
        path "${sample_name}.bam", emit: outputBam
        path "${sample_name}.bai", emit: outputBai
  
    script:
    """
        set -eo pipefail
  
        samtools view -h -T $ref_fasta $input_cram |
        samtools view -b -o ${sample_name}.bam -
        samtools index -b ${sample_name}.bam
        mv ${sample_name}.bam.bai ${sample_name}.bai
    """
  }
  
  process ValidateSamFile {
    container "<account>.dkr.ecr.us-west-2.amazonaws.com/genomes-in-the-cloud"
  
    publishDir "/mnt/workflow/pubdir"
  
    input:
        file input_bam
  
    output:
        path "validation_report"
  
    script:
    """
        java -Xmx3G -jar /usr/gitc/picard.jar \
        ValidateSamFile \
        INPUT=${input_bam} \
        OUTPUT=validation_report \
        MODE=SUMMARY \
        IS_BISULFITE_SEQUENCED=false
    """
  }   

Nextflow v25.10 以降publishDirでは、 の代わりにワークフロー出力を使用してタスクコンテンツをエクスポートできます。次の例は、タスク結果を Amazon S3 にエクスポートするワークフローoutputブロックを定義する方法を示しています。

process myTask {
    input:
    val data

    output:
    path 'result.txt'

    script:
    """
    echo ${data} > result.txt
    """
}

workflow {
    main:
    output_file = myTask('hello')

    publish:
    results = output_file
}

output {
    results {
        path '.'
    }
}

ワークフロー出力の詳細については、Nextflow ドキュメントの「ワークフロー出力」を参照してください。

Nextflow 実行レポートの生成

Nextflow は、実行ごとに 4 つの組み込みレポートを生成できます。実行レポート (report)、タイムライン ()、トレースファイル (timeline)、ワークフロー図 (trace) ですdag。HealthOmics がこれらのファイルを実行の Amazon S3 出力場所にエクスポートするには、ファイル/mnt/workflow/output/内の に出力を書き込むように各nextflow.configファイルを設定してください。

report {
    enabled = true
    file = '/mnt/workflow/output/report.html'
    overwrite = true
}

timeline {
    enabled = true
    file = '/mnt/workflow/output/timeline.html'
    overwrite = true
}

trace {
    enabled = true
    file = '/mnt/workflow/output/trace.txt'
    overwrite = true
}

dag {
    enabled = true
    file = '/mnt/workflow/output/dag.html'
    overwrite = true
}

HealthOmics は、 で書き込まれたファイルを、実行/mnt/workflow/output/の Amazon S3 出力場所の output/ プレフィックスにエクスポートします。このエクスポートパスの詳細については、「」を参照してくださいワークフローレベルのコンテンツをエクスポートする。外部に書き込まれたレポートは/mnt/workflow/output/、実行の Amazon S3 出力場所にエクスポートされません。

Nextflow 構文バージョンを指定する

Nextflow v26.04.0 は、デフォルトで厳密な (v2) 構文パーサーを使用します。これは、Nextflow v25.10.0 以前のデフォルトであるレガシー (v1) 構文を使用して記述されたワークフローの大幅な変更です。v2 構文の詳細については、Seqera Nextflow ドキュメントの「厳格な構文」を参照してください。

レガシー (v1) パーサーに対して作成されたワークフローを実行するには、StartRunリクエストv1で engineSettings.syntaxVersionを に設定します。

{
  "engineSettings": {
    "syntaxVersion": "v1"
  }
}

Nextflow v25.10.0 以前では、HealthOmics は v2 パーサーをサポートしていません。

Nextflow でスクラッチストレージを効率的に使用する

Nextflow のscratchディレクティブは、プロセスが一時的な作業ファイルを書き込む場所を制御します。エフェメラルストレージが有効になっている場合 (scratchStorageMode: LOCAL)、 scratchディレクティブを使用して、スクラッチ I/O を の高速ローカルボリュームに送信します/tmp。

次の表に、HealthOmics でサポートされているscratchディレクティブ値とその動作を示します。

推奨されるアプローチは、プロセス定義scratch trueで を設定することです。これにより、 が自動的に使用され$TMPDIR、パス設定は必要ありません。

process my_process {
    scratch true
    disk '200 GB'
    script:
    """
    my-tool --input ${input} --output ${output}
    """
}

エフェメラルストレージと diskディレクティブの詳細については、「」を参照してくださいHealthOmics ワークフロータスク用のエフェメラルストレージ。

Nextflow v26.04 リリースノート

次の表は、Nextflow バージョン 26.04 でリリースされた新機能、機能強化、廃止に関する HealthOmics のサポートをまとめたものです。

新しい特徴と拡張機能

非推奨