Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
HealthOmics Eingaben ausführen
Wenn in der Workflow-Definition Eingabedateien für den Workflow oder die Workflow-Aufgaben angegeben sind HealthOmics , werden die Dateien auf einem Testvolume gespeichert, das für die Workflow-Ausführung vorgesehen ist. Diese Eingabedateien sind schreibgeschützt, wodurch verhindert wird, dass Aufgaben potenzielle Eingaben für andere Aufgaben im Workflow ändern. Bei Verzeichnisimporten sind die Verzeichnisse ebenfalls schreibgeschützt.
Viele Genomik-Anwendungen gehen davon aus, dass sich Indexdateien zusammen mit den Sequenzdateien befinden (z. B. eine bai Begleitdatei für eine Datei). bam Um Indexdateien einzubeziehen, geben Sie sie als Aufgabeneingaben in der Workflow-Definition an.
Themen
Verwaltung der Größe von Ausführungsparametern
Wenn Sie einen Lauf starten, geben Sie Laufeingaben im JSON-Objekt oder in der JSON-Datei für die Ausführungsparameter an. Sie können bis zu 256 KB an Ausführungsparametern für den Workflow angeben. Sie können die folgenden Techniken verwenden, um diese Größenbeschränkung einzuhalten:
-
Verwenden Sie Verzeichnisimporte
Um eine große Anzahl von Eingabedateien anzugeben, geben Sie einen Parameter als Amazon S3-Speicherort an, der alle Dateien enthält, anstatt einen Parameter für jeden Dateispeicherort anzugeben. Weitere Informationen finden Sie im nächsten Thema (Amazon S3-Eingabeparameterformate).
-
Verwenden Sie ein Musterblatt
Ein Musterblatt ist eine CSV- oder TSV-Datei mit einer Spalte für die Adresse fastq.gz (oder zwei für gepaartes Lesen) und zusätzlichen Spalten für Metadaten wie Beispielnamen. Sie geben das Musterblatt als Recheneingabeparameter an und nicht als Parameter für jede Eingabedatei.
Ihr Arbeitsablauf definiert, wie Ihr Musterblatt den Datenstrukturen im Arbeitsablauf zugeordnet wird. Sie könnten zwar Code für Musterblätter in WDL und CWL schreiben, sie sind jedoch häufiger in. NextFlow Ein Beispiel finden Sie im Beispielblatt
auf der GitHub NF-Core-Website.
Formate für Amazon S3-Eingabeparameter
Für einen Eingabeparameter, der einen Amazon S3-Speicherort akzeptiert, kann der Parameter den Speicherort einer Datei oder eines ganzen Dateiverzeichnisses angeben. Die Verwendung eines Verzeichnisses hat die folgenden Vorteile:
-
Bequemlichkeit — Sie geben den Verzeichnisnamen als Parameter an. Sie listen nicht jeden Dateinamen auf.
-
Kompaktheit — Die maximale Dateigröße des Eingabeparameters beträgt 256 KB. Wenn Sie eine lange Liste von Eingabedateinamen angeben, können Sie dieses Maximum überschreiten.
Amazon S3 ist ein flaches Objektspeichersystem und unterstützt daher keine Verzeichnisse. Sie gruppieren Dateien in einem „Verzeichnis“, indem Sie jeder Datei das gleiche Objektschlüsselpräfix geben. Weitere Informationen zu Amazon S3-Objektschlüsselpräfixen finden Sie unter Objekte mithilfe von Präfixen organisieren.
HealthOmics interpretiert den Eingabeparameterwert wie folgt:
-
Wenn der Amazon S3-Standort nicht mit einem Schrägstrich endet oder das Glob-Muster verwendet, wird HealthOmics erwartet, dass der Parameterwert der Schlüssel für ein Amazon S3-Objekt ist.
Sie geben beispielsweise an, file1.fastq
s3://myfiles/runs/inputs/a/file1.fastqeinzugeben -
Wenn der Amazon S3-Standort mit einem Schrägstrich endet, HealthOmics interpretiert der Parameterwert als Amazon S3-Präfix. Es werden alle Amazon S3-Objekte mit diesem Präfix geladen.
Sie können beispielsweise angeben,
s3://myfiles/runs/inputs/a/dass alle Objekte geladen werden, deren Schlüssel mit diesem Präfix beginnen. -
Für Nextflow unterstützt HealthOmics es teilweise das Glob-Muster für Amazon S3-URIs in Eingabeparametern.
Sie können beispielsweise angeben, dass alle GZ-Dateien eingegeben
“s3://myfiles/runs/inputs/a/*.gz”werden sollen, deren Schlüssel mit diesem Präfix beginnen.
Nextflow: Behandlung des Glob-Musters in Amazon S3-Eingaben
| Glob-Muster | HealthOmics Verhalten abgleichen | Hinweise |
|---|---|---|
| s3://bucket/directory/*.txt | Entspricht allen .txt Objekten in beliebiger Tiefe unter dem Präfix s3:///. bucket/directory Entspricht beispielsweise s3://bucket/directory/abc.txt oder s3://bucket/directory/subDir/123.txt usw. |
|
| s3://bucket/directory/**/*.txt | Entspricht allen .txt Objekten in beliebiger Tiefe unter dem Präfix s3:///. bucket/directory Entspricht beispielsweise s3://bucket/directory/abc.txt oder s3://bucket/directory/subDir/123.txt usw. |
In S3 ** entspricht*. |
| s3://bucket/directory/{a, b} .txt | s3://bucket/directory/a.txt, s3:///b.txt bucket/directory | |
| s3://bucket/directory/?. txt | Findet Objekte im Präfixstamm, deren Dateiname aus einem einzelnen Zeichen besteht, gefolgt von.txt. Es entspricht beispielsweise s3://bucket/directory/a.txt, aber nicht s3://bucket/directory/someDir/a.txt oder s3://bucket/directory//a.txt someDir/subDir |
|
| s3://bucket/directory/[0-9] .txt | s3://bucket/directory/0.txt, s3://bucket/directory/1.txt,... , s3://bucket/directory/9.txt | |
| s3://bucket/directory/[0-9] .txt | s3://bucket/directory/1.txt, s3://bucket/directory/2.txt, s3:///3.txt bucket/directory | |
| s3://bucket/directory/[0-9] .txt | s3://bucket/directory/b.txt, s3://bucket/directory/c.txt,... , s3://bucket/directory/Y.txt |
Language-specific Behandlung von doppelten Schrägstrichen in Amazon S3-Eingaben
HealthOmics behält das native Engine-Verhalten für jede Workflow-Engine bei, wenn doppelte Schrägstriche in Amazon S3-URIs verarbeitet werden, sodass Sie keine Änderungen an Ihren Workflows vornehmen müssen, wenn Sie sie zu migrieren. HealthOmics In den folgenden Abschnitten wird beschrieben, wie jede Engine verschiedene Szenarien behandelt.
WDL
Wenn der Eingabeparameter einen doppelten Schrägstrich in der Mitte oder am Ende des URI enthält, behält die WDL-Engine den doppelten Schrägstrich bei.
| Eingabeparameter | Erwarteter Standort |
|---|---|
| s3://myfiles/runs/inputs//file1.fastq | s3://myfiles/runs/inputs//file1.fastq |
| s3://myfiles/runs/eingaben// | s3:///Eingaben// myfiles/runs |
Nächster Fluss
Wenn der Eingabeparameter einen doppelten Schrägstrich in der Mitte des URI enthält, behält die Nextflow-Engine den doppelten Schrägstrich bei. Bei einem doppelten Schrägstrich am Ende des URI löst die Nextflow-Engine ihn in einen einzelnen Schrägstrich auf.
| Eingabeparameter | Erwarteter Standort |
|---|---|
| s3://myfiles/runs/inputs//file1.fastq | s3://myfiles/runs/inputs//file1.fastq |
| runs/inputss3://myfiles////*.gz | s3://myfiles////*.gz runs/inputs |
| s3://myfiles////runs/inputs | s3://myfiles//runs/inputs/ |
CWL
Wenn der Eingabeparameter einen doppelten Schrägstrich in der Mitte oder am Ende des URI enthält, behält die CWL-Engine den doppelten Schrägstrich bei.
| Eingabeparameter | Erwarteter Standort |
|---|---|
| s3://myfiles// runs/inputs //file1.fastq | s3://myfiles// runs/inputs //file1.fastq |
| runs/inputss3://myfiles//// | s3://myfiles//runs/inputs// |
Status des Amazon S3-Eingabearchivs
HealthOmics kann Amazon S3-Objekte, die S3 liefert, in Echtzeit abrufen. Für Objekte, die sich in den folgenden archivierten Speicherzuständen befinden, restore die Objekte, für die sie verfügbar gemacht werden sollen HealthOmics:
-
Flexible Retrieval- oder Deep Archive-Speicherklassen in Amazon S3 Glacier.
-
Intelligentes Tiering bietet die Stufen Archived Access oder Deep Archive Access.
Informationen zum Wiederherstellen von Objekten finden Sie unter Wiederherstellen eines archivierten Objekts im Amazon S3-Benutzerhandbuch.
