Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Besonderheiten der Nextflow-Workflow-Definition

HealthOmics unterstützt Nextflow DSL1 und DSL2. Details hierzu finden Sie unter Unterstützung der Nextflow-Version.

Nextflow DSL2 basiert auf der Programmiersprache Groovy, daher sind die Parameter dynamisch und Typzwang ist nach den gleichen Regeln wie bei Groovy möglich. Die von der JSON-Eingabe bereitgestellten Parameter und Werte sind in der Parameter-Map () des Workflows verfügbar. params

Verwenden Sie die Plugins nf-schema und nf-validation

HealthOmics bietet die folgende Unterstützung für Nextflow-Plugins:

Geben Sie Speicher-URIs an

Wenn ein Amazon S3 oder HealthOmics URI verwendet wird, um eine Nextflow-Datei oder ein Pfadobjekt zu erstellen, stellt es das entsprechende Objekt für den Workflow zur Verfügung, sofern Lesezugriff gewährt wird. Die Verwendung von Präfixen oder Verzeichnissen ist für Amazon S3-URIs zulässig. Beispiele finden Sie unter Amazon S3 S3-Eingabeparameterformate.

HealthOmics unterstützt teilweise die Verwendung von Glob-Mustern in Amazon S3-URIs oder Speicher-URIs. HealthOmics Verwenden Sie Glob-Muster in der Workflow-Definition für die Erstellung von ODER-Kanälen. path file Informationen zum erwarteten Verhalten und zu den genauen Fällen finden Sie unterNextflow-Behandlung von Glob-Mustern in Amazon S3 S3-Eingaben.

Nextflow-Direktiven

Sie konfigurieren Nextflow-Direktiven in der Nextflow-Konfigurationsdatei oder Workflow-Definition. Die folgende Liste zeigt die Rangfolge, HealthOmics in der Konfigurationseinstellungen angewendet werden, von der niedrigsten zur höchsten Priorität:

Strategie zur Wiederholung von Aufgaben mit ErrorStrategy

Verwenden Sie die errorStrategy Direktive, um die Strategie für Aufgabenfehler zu definieren. Wenn eine Aufgabe mit einer Fehleranzeige (einem Exit-Status ungleich Null) zurückkehrt, stoppt die Aufgabe standardmäßig und HealthOmics beendet den gesamten Lauf. Wenn Sie errorStrategy auf setzen, wird HealthOmics versuchtretry, die fehlgeschlagene Aufgabe einmal zu wiederholen. Informationen zum Erhöhen der Anzahl der Wiederholungen finden Sie unter. Versuche, Aufgaben mit MaxRetries zu wiederholen

process {
    label 'my_label'
    errorStrategy 'retry'

    script:
    """
    your-command-here
    """
}   

Hinweise zur Behandlung von HealthOmics Aufgabenwiederholungen während einer Ausführung finden Sie unter. Die Aufgabe wird erneut versucht

Versuche, Aufgaben mit MaxRetries zu wiederholen

Versucht standardmäßig HealthOmics keine Wiederholungsversuche einer fehlgeschlagenen Aufgabe oder versucht einen erneuten Versuch, wenn Sie dies konfigurieren. errorStrategy Um die maximale Anzahl von Wiederholungen zu erhöhen, legen Sie mithilfe der errorStrategy Direktive die maximale Anzahl von Wiederholungen fest retry und konfigurieren Sie sie. maxRetries

Im folgenden Beispiel wird die maximale Anzahl von Wiederholungen in der globalen Konfiguration auf 3 festgelegt.

process {
    errorStrategy = 'retry'
    maxRetries = 3
}     

Das folgende Beispiel zeigt, wie das maxRetries im Aufgabenbereich der Workflow-Definition festgelegt wird.

process myTask {
    label 'my_label'
    errorStrategy 'retry'
    maxRetries 3
    
    script:
    """
    your-command-here
    """
}   

Das folgende Beispiel zeigt, wie eine aufgabenspezifische Konfiguration in der Nextflow-Konfigurationsdatei auf der Grundlage der Namens- oder Label-Selektoren angegeben wird.

process {
    withLabel: 'my_label' {
        errorStrategy = 'retry'
        maxRetries = 3
    }

    withName: 'myTask' {
        errorStrategy = 'retry'
        maxRetries = 3
    }
}   

Deaktivieren Sie die Wiederholung von Aufgaben mithilfe von Omics 5xx RetryOn

HealthOmics Unterstützt für Nextflow v23 und höher Aufgabenwiederholungen, wenn die Aufgabe aufgrund von Dienstfehlern (5XX HTTP-Statuscodes) fehlgeschlagen ist. Standardmäßig werden bis zu zwei Wiederholungen einer fehlgeschlagenen Aufgabe versucht. HealthOmics

Sie können so konfigurierenomicsRetryOn5xx, dass bei Servicefehlern die Wiederholung von Aufgaben abgelehnt wird. Weitere Hinweise zur Aufgabenwiederholung in finden Sie HealthOmics unter. Die Aufgabe wird erneut versucht

Im folgenden Beispiel wird omicsRetryOn5xx in der globalen Konfiguration so konfiguriert, dass die Aufgabenwiederholung deaktiviert wird.

process {
    omicsRetryOn5xx = false
}     

Das folgende Beispiel zeigt, wie die Konfiguration omicsRetryOn5xx im Aufgabenbereich der Workflow-Definition erfolgt.

process myTask {
    label 'my_label'
    omicsRetryOn5xx = false
    
    script:
    """
    your-command-here
    """
}   

Das folgende Beispiel zeigt, wie eine aufgabenspezifische Konfiguration in der Nextflow-Konfigurationsdatei festgelegt omicsRetryOn5xx wird, basierend auf den Namens- oder Label-Selektoren.

process {
    withLabel: 'my_label' {
        omicsRetryOn5xx = false
    }

    withName: 'myTask' {
        omicsRetryOn5xx = false
    }
}   

Aufgabendauer unter Verwendung der Zeit-Direktive

HealthOmics bietet ein einstellbares Kontingent (sieheHealthOmics Servicekontingenten) zur Angabe der maximalen Dauer eines Durchlaufs. Für Workflows ab Nextflow v23 können Sie mithilfe der Nextflow-Direktive auch die maximale Aufgabendauer angeben. time

Bei der Entwicklung neuer Workflows hilft Ihnen die Festlegung der maximalen Aufgabendauer dabei, außer Kontrolle geratene Aufgaben und Aufgaben mit langer Laufzeit abzufangen.

Weitere Informationen zur Nextflow-Zeitrichtlinie finden Sie unter Zeitrichtlinie in der Nextflow-Referenz.

HealthOmics bietet die folgende Unterstützung für die Nextflow-Zeitdirektive:

Geben Sie die Timeout-Dauer mit einer oder mehreren der folgenden Einheiten an: mss, mh, oderd.

Das folgende Beispiel zeigt, wie die globale Konfiguration in der Nextflow-Konfigurationsdatei angegeben wird. Es legt einen globalen Timeout von 1 Stunde und 30 Minuten fest.

process {
    time = '1h30m'
}     

Das folgende Beispiel zeigt, wie eine Zeitanweisung im Aufgabenbereich der Workflow-Definition angegeben wird. In diesem Beispiel wird ein Timeout von 3 Tagen, 5 Stunden und 4 Minuten festgelegt. Dieser Wert hat Vorrang vor dem globalen Wert in der Konfigurationsdatei, hat aber keinen Vorrang vor einer aufgabenspezifischen Zeitanweisung für my_label in der Konfigurationsdatei.

process myTask {
    label 'my_label'
    time '3d5h4m'
        
    script:
    """
    your-command-here
    """
}     

Das folgende Beispiel zeigt, wie aufgabenspezifische Zeitanweisungen in der Nextflow-Konfigurationsdatei auf der Grundlage der Namens- oder Label-Selektoren angegeben werden. In diesem Beispiel wird ein globaler Task-Timeout-Wert von 30 Minuten festgelegt. Es legt einen Wert von 2 Stunden für Aufgaben myTask und einen Wert von 3 Stunden für Aufgaben mit Bezeichnung my_label fest. Bei Aufgaben, die dem Selektor entsprechen, haben diese Werte Vorrang vor dem globalen Wert und dem Wert in der Workflow-Definition.

process {
    time = '30m'
    
    withLabel: 'my_label' {
        time = '3h'  
    }

    withName: 'myTask' {
        time = '2h'  
    }
}     

Verwenden Sie Nextflow-Profile

Nextflow-Profile sind benannte Gruppen von Konfigurationseinstellungen, die Sie zur Laufzeit auswählen können. Definieren Sie Profile im profiles Block Ihrer nextflow.config Datei:

profiles {
    standard {
        process.cpus = 2
        process.memory = '4 GB'
    }

    production {
        process.cpus = 16
        process.memory = '64 GB'
        params.input = 's3://bucket/production-data.bam'
    }
}

Wenn Sie einen Lauf starten, geben Sie mithilfe des engineSettings Parameters ein oder mehrere Profile an. HealthOmics übergibt das -profile Flag an die Nextflow-Engine. Weitere Informationen finden Sie unter Geben Sie die Nextflow-Engine-Einstellungen an.

aws omics start-run \
  --workflow-id workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket/prefix/ \
  --engine-settings '{"profile": "production"}'

Wenn mehrere Profile angegeben sind (z. B."test,docker"), wendet Nextflow sie in der Reihenfolge an, in der sie in der Befehlszeile angegeben sind. Spätere Profile überschreiben frühere Profile aufgrund widersprüchlicher Einstellungen. Bei Nextflow-Versionen unter 26 werden Profile in der Reihenfolge angewendet, in der sie in der Konfigurationsdatei definiert sind, und nicht in der Befehlszeilenreihenfolge.

Beachten Sie Folgendes:

Exportieren Sie Inhalte auf Workflow-Ebene

Für Nextflow v25.10 und höher können Sie Dateien exportieren, die außerhalb einzelner Aufgaben erstellt wurden, wie z. B. Herkunftsberichte oder Pipeline-DAGs. Um diese Dateien zu exportieren, schreiben Sie sie in. /mnt/workflow/output/ HealthOmics exportiert Dateien in diesem Verzeichnis an das output/ Präfix im Amazon S3-Ausgabespeicherort Ihres Laufs.

Das folgende Beispiel zeigt, wie Sie das nf-prov Plugin so konfigurieren, dass ein Herkunftsbericht geschrieben wird. /mnt/workflow/output/

prov {
    formats {
        bco {
            file = "/mnt/workflow/output/pipeline_info/manifest.bco.json"
        }
    }
}

Sie können diesen Pfad auch als Parameter in der JSON-Eingabe Ihres Laufs übergeben. Dieser Ansatz ist bei NF-Core-Workflows üblich, die Folgendes verwenden. params.outdir

{
    "outdir": "/mnt/workflow/output/"
}

Exportieren Sie den Inhalt der Aufgabe

Definieren Sie für in Nextflow geschriebene Workflows eine PublishDir-Direktive, um den Aufgabeninhalt in Ihren Amazon S3-Ausgabe-Bucket zu exportieren. Wie im folgenden Beispiel gezeigt, setzen Sie den PublishDir-Wert auf. /mnt/workflow/pubdir Um Dateien nach Amazon S3 zu exportieren, müssen sich die Dateien in diesem Verzeichnis befinden.

 nextflow.enable.dsl=2
              
  workflow {
    CramToBamTask(params.ref_fasta, params.ref_fasta_index, params.ref_dict, params.input_cram, params.sample_name)
    ValidateSamFile(CramToBamTask.out.outputBam)
  }
  
  process CramToBamTask {
    container "<account>.dkr.ecr.us-west-2.amazonaws.com/genomes-in-the-cloud"
  
    publishDir "/mnt/workflow/pubdir"
  
    input:
        path ref_fasta
        path ref_fasta_index
        path ref_dict
        path input_cram
        val sample_name
  
    output:
        path "${sample_name}.bam", emit: outputBam
        path "${sample_name}.bai", emit: outputBai
  
    script:
    """
        set -eo pipefail
  
        samtools view -h -T $ref_fasta $input_cram |
        samtools view -b -o ${sample_name}.bam -
        samtools index -b ${sample_name}.bam
        mv ${sample_name}.bam.bai ${sample_name}.bai
    """
  }
  
  process ValidateSamFile {
    container "<account>.dkr.ecr.us-west-2.amazonaws.com/genomes-in-the-cloud"
  
    publishDir "/mnt/workflow/pubdir"
  
    input:
        file input_bam
  
    output:
        path "validation_report"
  
    script:
    """
        java -Xmx3G -jar /usr/gitc/picard.jar \
        ValidateSamFile \
        INPUT=${input_bam} \
        OUTPUT=validation_report \
        MODE=SUMMARY \
        IS_BISULFITE_SEQUENCED=false
    """
  }   

Für Nextflow v25.10 und höher können Sie als Alternative zu Workflow-Ausgaben verwendenpublishDir, um Aufgabeninhalte zu exportieren. Das folgende Beispiel zeigt, wie ein output Workflow-Block definiert wird, der Aufgabenergebnisse nach Amazon S3 exportiert.

process myTask {
    input:
    val data

    output:
    path 'result.txt'

    script:
    """
    echo ${data} > result.txt
    """
}

workflow {
    main:
    output_file = myTask('hello')

    publish:
    results = output_file
}

output {
    results {
        path '.'
    }
}

Weitere Informationen zu Workflow-Ausgaben finden Sie unter Workflow-Ausgaben in der Nextflow-Dokumentation.

Generieren Sie Nextflow-Ausführungsberichte

Nextflow kann für jeden Lauf vier integrierte Berichte erstellen: einen Ausführungsbericht (report), eine Zeitleiste (timeline), eine Trace-Datei (trace) und ein Workflow-Diagramm (dag). HealthOmics Um diese Dateien an den Amazon S3-Ausgabespeicherort Ihres Laufs zu exportieren, konfigurieren Sie jede Datei so, dass ihre Ausgabe /mnt/workflow/output/ in Ihre nextflow.config Datei geschrieben wird:

report {
    enabled = true
    file = '/mnt/workflow/output/report.html'
    overwrite = true
}

timeline {
    enabled = true
    file = '/mnt/workflow/output/timeline.html'
    overwrite = true
}

trace {
    enabled = true
    file = '/mnt/workflow/output/trace.txt'
    overwrite = true
}

dag {
    enabled = true
    file = '/mnt/workflow/output/dag.html'
    overwrite = true
}

HealthOmics exportiert Dateien, die unter /mnt/workflow/output/ dem output/ Präfix im Amazon S3-Ausgabespeicherort Ihres Laufs geschrieben wurden. Weitere Informationen zu diesem Exportpfad finden Sie unterExportieren Sie Inhalte auf Workflow-Ebene. Außerhalb verfasste Berichte /mnt/workflow/output/ werden nicht an den Amazon S3-Ausgabespeicherort Ihres Laufs exportiert.

Geben Sie die Nextflow-Syntaxversion an

Nextflow v26.04.0 verwendet standardmäßig den strikten Syntaxparser (v2). Dies ist eine grundlegende Änderung für Workflows, die mit der Legacy-Syntax (v1) geschrieben wurden, was in Nextflow v25.10.0 und früheren Versionen die Standardeinstellung ist. Informationen zur v2-Syntax finden Sie unter Strikte Syntax in der Seqera Nextflow-Dokumentation.

Um einen Workflow auszuführen, der für den Legacy-Parser (v1) erstellt wurde, setzen Sie in der Anfrage auf: engineSettings.syntaxVersion v1 StartRun

{
  "engineSettings": {
    "syntaxVersion": "v1"
  }
}

Unterstützt für Nextflow v25.10.0 und früher den v2-Parser HealthOmics nicht.

Automatische Syntaxvalidierung bei der Workflow-Erstellung

HealthOmics führt automatisch den in Nextflow integrierten Strict DSL2-Linter (nf-lang/v2) aus, wenn Sie einen Nextflow DSL2-Workflow erstellen oder aktualisieren. CreateWorkflowDieser CreateWorkflowVersion Linter läuft während und. Er gilt für alle unterstützten DSL2-Versionen (v22.04, v23.10, v24.10, v25.10 und v26.04). DSL1-Workflows sind nicht überlastet.

Der Linter arbeitet im nicht blockierenden Modus. Lint-Ergebnisse verhindern nicht, dass der Workflow AKTIV wird. Die Ergebnisse werden als strukturiertes JSON im statusMessage Feld der GetWorkflow Antwort angezeigt.

Weitere Informationen zum Lint-Ausgabeformat und zur Behebung von Ergebnissen finden Sie unter. Der Arbeitsablauf zeigt an HealthOmics

Effiziente Nutzung des Scratch-Speichers in Nextflow

Die scratch Direktive von Nextflow steuert, wo ein Prozess seine temporären Arbeitsdateien schreibt. Wenn der temporäre Speicher aktiviert ist (scratchStorageMode: LOCAL), verwenden Sie die scratch Direktive, um Scratch auf das schnelle lokale I/O Volume unter zu leiten. /tmp

Die folgende Tabelle beschreibt die unterstützten scratch Direktivenwerte und ihr Verhalten in: HealthOmics

Die empfohlene Vorgehensweise besteht darin, scratch true in Ihrer Prozessdefinition festzulegen, die automatisch folgende Pfadkonfiguration verwendet $TMPDIR und erfordert keine Pfadkonfiguration.

process my_process {
    scratch true
    disk '200 GB'
    script:
    """
    my-tool --input ${input} --output ${output}
    """
}

Weitere Hinweise zur kurzlebigen Speicherung und zur disk Direktive finden Sie unter. Kurzlebiger Speicher für Workflow-Aufgaben HealthOmics

Versionshinweise zu Nextflow v26.04

Die folgenden Tabellen fassen die HealthOmics Unterstützung für neue Funktionen, Verbesserungen und veraltete Funktionen zusammen, die in Nextflow Version 26.04 veröffentlicht wurden.

Neue Features und Verbesserungen

Veraltungen