Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erstellen Sie einen privaten Workflow
Erstellen Sie einen Workflow mit dem HealthOmics Konsole, AWS CLI-Befehle oder einer der AWS SDKs.
Fügen Sie keine persönlich identifizierbaren Informationen (PII) in Workflow-Namen ein. Diese Namen sind sichtbar in CloudWatch Protokolle.
Wenn Sie einen Workflow erstellen, HealthOmics weist dem Workflow einen Universally Unique Identifier (UUID) zu. Die Workflow-UUID ist ein Globally Unique Identifier (GUID), der für alle Workflows und Workflow-Versionen eindeutig ist. Aus Gründen der Datenherkunft empfehlen wir, die Workflow-UUID zu verwenden, um Workflows eindeutig zu identifizieren.
Wenn Ihre Workflow-Aufgaben externe Tools (ausführbare Dateien, Bibliotheken oder Skripts) verwenden, bauen Sie diese Tools in ein Container-Image ein. Sie haben die folgenden Optionen, um das Container-Image zu hosten:
-
Hosten Sie das Container-Image in der privaten ECR-Registry. Voraussetzungen für diese Option:
-
Erstellen Sie ein privates ECR-Repository oder wählen Sie ein vorhandenes Repository aus.
-
Konfigurieren Sie die ECR-Ressourcenrichtlinie wie unter beschrieben Amazon-ECR-Berechtigungen.
-
Laden Sie Ihr Container-Image in das private Repository hoch.
-
-
Synchronisieren Sie das Container-Image mit dem Inhalt einer unterstützten Drittanbieter-Registrierung. Voraussetzungen für diese Option:
-
Konfigurieren Sie in der privaten ECR-Registry eine Pull-Through-Cache-Regel für jede Upstream-Registrierung. Weitere Informationen finden Sie unter Bildzuordnungen.
-
Konfigurieren Sie die ECR-Ressourcenrichtlinie wie unter beschrieben Amazon-ECR-Berechtigungen.
-
Erstellen Sie Vorlagen zur Repository-Erstellung. Die Vorlage definiert Einstellungen dafür, wann Amazon ECR das private Repository für eine Upstream-Registrierung erstellt.
-
Erstellen Sie Präfixzuordnungen, um Container-Image-Referenzen in der Workflow-Definition den ECR-Cache-Namespaces neu zuzuordnen.
-
Wenn Sie einen Workflow erstellen, stellen Sie eine Workflow-Definition bereit, die Informationen über den Workflow, die Ausführungen und die Aufgaben enthält. HealthOmics kann die Workflow-Definition als .zip-Archiv abrufen, das lokal oder in einem Amazon S3-Bucket gespeichert ist, oder von einem unterstützten Git-based Repository.
Themen
Einen Workflow mithilfe der Konsole erstellen
Schritte zum Erstellen eines Workflows
-
Öffnen Sie die HealthOmics -Konsole
. -
Öffnen Sie bei Bedarf den linken Navigationsbereich (≡). Wählen Sie Private Workflows.
-
Auf der Private Arbeitsabläufe Seite, wählen Sie Arbeitsablauf erstellen.
-
Auf der Definieren Sie den Arbeitsablauf Seite, geben Sie die folgenden Informationen an:
-
Name des Workflows: Ein unverwechselbarer Name für diesen Workflow. Wir empfehlen, Workflow-Namen festzulegen, um Ihre Läufe in der AWS HealthOmics Konsole und CloudWatch Protokolle.
-
Beschreibung (optional): Eine Beschreibung dieses Workflows.
-
-
In der Workflow-Definition Panel, geben Sie die folgenden Informationen an:
-
Sprache des Workflows (optional): Wählen Sie die Spezifikationssprache des Workflows aus. Andernfalls HealthOmics bestimmt die Sprache aus der Workflow-Definition.
-
Für Quelle der Workflow-Definition, wählen Sie, ob Sie den Definitionsordner aus einem importieren möchten Git-based Repository, einen Amazon S3-Standort oder von einem lokalen Laufwerk.
-
Für Aus einem Repository-Service importieren:
AnmerkungHealthOmics unterstützt öffentliche und private Repositorien für GitHub, GitLab, Bitbucket, GitHub self-managed, GitLab self-managed.
-
Wähle ein Verbindung um deine zu verbinden AWS Ressourcen für das externe Repository. Informationen zum Herstellen einer Verbindung finden Sie unter Stellen Sie eine Verbindung zu externen Code-Repositorys her.
AnmerkungKunden in der TLV Region muss eine Verbindung herstellen in der IAD Region (us-east-1), um einen Arbeitsablauf zu erstellen.
-
In Vollständige Repository-ID, gib deine Repository-ID als user- einname/repo-Name. Stellen Sie sicher, dass Sie Zugriff auf die Dateien in diesem Repository haben.
-
In Quellenangabe (optional), geben Sie eine Repository-Quellreferenz ein (Branch-, Tag- oder Commit-ID). HealthOmics verwendet den Standard-Branch, wenn keine Quellreferenz angegeben ist.
-
In Dateimuster ausschließen, geben Sie die Dateimuster ein, um bestimmte Ordner, Dateien oder Erweiterungen auszuschließen. Dies hilft bei der Verwaltung der Datengröße beim Import von Repository-Dateien. Es gibt maximal 50 Muster, und die Muster müssen den Syntax des Glob-Musters
. Beispiel: -
tests/ -
*.jpeg -
large_data.zip
-
-
-
Für Wählen Sie den Definitionsordner aus S3:
-
Geben Sie den Amazon S3-Speicherort ein, der den komprimierten Workflow-Definitionsordner enthält. Der Amazon S3-Bucket muss sich in derselben Region wie der Workflow befinden.
-
Wenn Ihr Konto nicht Eigentümer des Amazon S3-Buckets ist, geben Sie den des Bucket-Besitzers ein AWS Konto-ID im Konto-ID des S3-Bucket-Besitzers. Diese Information ist erforderlich, damit HealthOmics kann den Besitz des Buckets überprüfen.
-
-
Für Wählen Sie einen Definitionsordner aus einer lokalen Quelle:
-
Geben Sie den lokalen Speicherort des komprimierten Workflow-Definitionsordners ein.
-
-
-
Hauptpfad der Workflow-Definitionsdatei (optional): Geben Sie den Dateipfad vom komprimierten Workflow-Definitionsordner oder -repository zum
maindatei. Dieser Parameter ist nicht erforderlich, wenn der Workflow-Definitionsordner nur eine Datei enthält oder wenn die Hauptdatei den Namen „main“ trägt.
-
-
In der README-Datei (optionales) Bedienfeld, wählen Sie das Quelle der README-Datei und geben Sie die folgenden Informationen an:
-
Für Aus einem Repository-Service importieren, in README-Dateipfad, geben Sie den Pfad zur README-Datei im Repository ein.
-
Für Wählen Sie eine Datei aus S3, in README-Datei in S3, geben Sie die Amazon S3-URI für die README-Datei ein.
-
Für Wählen Sie eine Datei aus einer lokalen Quelle: in README — optional, wähle Wählen Sie eine Datei um die Markdown-Datei (.md) zum Hochladen auszuwählen.
-
-
In der Standard-Run-Speicherkonfiguration Panel, geben Sie den Standard-Laufspeichertyp und die Kapazität für Läufe an, die diesen Workflow verwenden:
-
Speichertyp ausführen: Wählen Sie, ob Sie statischen oder dynamischen Speicher als Standard für den temporären Laufspeicher verwenden möchten. Die Standardeinstellung ist statischer Speicher.
-
Führen Sie die Speicherkapazität aus (optional): Für den Speichertyp „Static Run“ können Sie die Standardmenge an Run-Speicher eingeben, die für diesen Workflow erforderlich ist. Der Standardwert für diesen Parameter ist 1200 GiB. Sie können diese Standardwerte überschreiben, wenn Sie einen Lauf starten.
-
-
Schlagworte (optional): Sie können diesem Workflow bis zu 50 Tags zuordnen.
-
Wählen Sie Weiter aus.
-
Auf der Fügen Sie Workflow-Parameter hinzu (optional) Seite, wählen Sie die Quelle des Parameters:
-
Für Aus der Workflow-Definitionsdatei analysieren, HealthOmics analysiert automatisch die Workflow-Parameter aus der Workflow-Definitionsdatei.
-
Für Geben Sie eine Parametervorlage aus dem Git-Repository an, verwenden Sie den Pfad zur Parameter-Vorlagendatei aus Ihrem Repository.
-
Für Wählen Sie eine JSON-Datei aus der lokalen Quelle, lade eine hoch JSON Datei aus einer lokalen Quelle, die die Parameter angibt.
-
Für Geben Sie Workflow-Parameter manuell ein, geben Sie Parameternamen und Beschreibungen manuell ein.
-
-
In der Parameter-Vorschau Im Bedienfeld können Sie die Parameter für diese Workflow-Version überprüfen oder ändern. Wenn Sie das wiederherstellen JSON Datei, verlieren Sie alle lokalen Änderungen, die Sie vorgenommen haben.
-
Wählen Sie Weiter aus.
-
Auf der Neuzuordnung von Container-URIs Seite, in der Regeln für die Zuordnung Im Panel können Sie URI-Zuordnungsregeln für Ihren Workflow definieren.
Für Quelle der Zuordnungsdatei, wählen Sie eine der folgenden Optionen:
-
Keine — Keine Zuordnungsregeln erforderlich.
-
Wählen Sie eine JSON-Datei aus S3 — Geben Sie den S3-Speicherort für die Zuordnungsdatei an.
-
Wählen Sie eine JSON-Datei aus einer lokalen Quelle — Geben Sie den Speicherort der Zuordnungsdatei auf Ihrem lokalen Gerät an.
-
Geben Sie die Zuordnungen manuell ein — geben Sie die Registrierungszuordnungen und Image-Zuordnungen in das Zuordnungen Panel.
-
Die Konsole zeigt die Zuordnungen Panel. Wenn Sie eine Mapping-Quelldatei ausgewählt haben, zeigt die Konsole die Werte aus der Datei an.
-
In Zuordnungen in der Registrierung, Sie können die Zuordnungen bearbeiten oder Zuordnungen hinzufügen (maximal 20 Registrierungszuordnungen).
Jede Registrierungszuordnung enthält die folgenden Felder:
-
URL der Upstream-Registrierung — Die URI der Upstream-Registrierung.
-
ECR-Repository-Präfix — Das Repository-Präfix, das im privaten Amazon ECR-Repository verwendet werden soll.
-
(Fakultativ) Präfix für das vorgelagerte — Das Präfix des Repositorys in der Upstream-Registrierung.
-
(Fakultativ) ECR-Konto-ID — Konto-ID des Kontos, dem das Upstream-Container-Image gehört.
-
(Fakultativ) ARN für Anmeldeinformationen — Der ARN des Secrets Manager-Geheimnisses, das Ihre Anmeldeinformationen für die Registrierung enthält. Erforderlich für Registries, die Amazon ECR Pull-Through-Cache nicht unterstützt, wie Seqera, NVIDIA NGC, Google Artifact Registry und Google Container Registry. Weitere Informationen finden Sie unter Verwendung von Drittanbieter-Registrierungen, die vom Pull-Through-Cache nicht unterstützt werden.
-
-
In Bildzuordnungen, Sie können die Bildzuordnungen bearbeiten oder Zuordnungen hinzufügen (maximal 100 Bildzuordnungen).
Jede Bildzuordnung enthält die folgenden Felder:
-
Quellbild — Gibt den URI des Quellbilds in der Upstream-Registrierung an.
-
Zielbild — Gibt den URI des entsprechenden Images in der privaten Amazon ECR-Registrierung an.
-
-
-
Wählen Sie Weiter aus.
-
Prüfen Sie die Workflow-Konfiguration und wählen Sie dann Workflow erstellen.
Einen Workflow mit der CLI erstellen
Wenn sich Ihre Workflow-Dateien und die Parameter-Vorlagendatei auf Ihrem lokalen Computer befinden, können Sie mit dem folgenden CLI-Befehl einen Workflow erstellen.
aws omics create-workflow \ --name "my_workflow" \ --definition-zip fileb://my-definition.zip \ --parameter-template file://my-parameter-template.json
Die create-workflow Die Operation gibt die folgende Antwort zurück:
{ "arn": "arn:aws:omics:us-west-2:....", "id": "1234567", "status": "CREATING", "tags": { "resourceArn": "arn:aws:omics:us-west-2:...." }, "uuid": "64c9a39e-8302-cc45-0262-2ea7116d854f" }
Optionale Parameter, die beim Erstellen eines Workflows verwendet werden sollen
Sie können jeden der optionalen Parameter angeben, wenn Sie einen Workflow erstellen. Einzelheiten zur Syntax finden Sie unter CreateWorkflow in der AWS HealthOmics API-Referenz.
Themen
Geben Sie die Workflow-Definition an: Amazon S3-Standort
Wenn sich Ihre Workflow-Definitionsdatei in einem Amazon S3-Ordner befindet, geben Sie den Speicherort mit dem definition-uri Parameter, wie im folgenden Beispiel gezeigt. Wenn Ihr Konto nicht Eigentümer des Amazon S3-Buckets ist, geben Sie die des Inhabers an AWS-Konto ID.
aws omics create-workflow \ --name Test \ --definition-uri s3://omics-bucket/workflow-definition/ \ --owner-id 123456789012 ...
Verwenden Sie die Workflow-Definition aus einem Git-based Endlager
Um die Workflow-Definition aus einem unterstützten Git-based Repository, verwenden Sie das definition-repository Parameter in Ihrer Anfrage. Geben Sie keine anderen an definition Parameter, da eine Anfrage fehlschlägt, wenn sie mehr als eine Eingabequelle enthält.
Der definition-respository Der Parameter enthält die folgenden Felder:
-
connectionArn — ARN der Codeverbindung, die Ihre AWS-Ressourcen mit dem externen Repository verbindet.
-
fullRepositoryId — Geben Sie die Repository-ID ein als
owner-name/repo-name. Stellen Sie sicher, dass Sie Zugriff auf die Dateien in diesem Repository haben. -
sourceReference (Optional) — Geben Sie einen Repository-Referenztyp (BRANCH, TAG oder COMMIT) und einen Wert ein.
HealthOmics verwendet den letzten Commit für den Standard-Branch, wenn Sie keine Quellreferenz angeben.
-
excludeFilePatterns (Optional) — Geben Sie die Dateimuster ein, um bestimmte Ordner, Dateien oder Erweiterungen auszuschließen. Dies hilft bei der Verwaltung der Datengröße beim Import von Repository-Dateien. Geben Sie maximal 50 Muster an. Die Muster müssen den Syntax des Glob-Musters
. Beispiel: -
tests/ -
*.jpeg -
large_data.zip
-
Wenn Sie die Workflow-Definition aus einem angeben Git-based Repository, verwenden parameter-template-path um die Parameter-Vorlagendatei anzugeben. Wenn Sie diesen Parameter nicht angeben, HealthOmics erstellt den Workflow ohne eine Parametervorlage.
Das folgende Beispiel zeigt die Parameter, die sich auf den Inhalt von a beziehen Git-based privates Repositorium:
aws omics create-workflow \ --name custom-variant \ --description "Custom variant calling pipeline" \ --engine "WDL" \ --definition-repository '{ "connectionArn": "arn:aws:codeconnections:us-east-1:123456789012:connection/abcd1234-5678-90ab-cdef-1234567890ab", "fullRepositoryId": "myorg/my-genomics-workflows", "sourceReference": { "type": "BRANCH", "value": "main" }, "excludeFilePatterns": ["tests/**", "*.log"] }' \ --main "workflows/variant-calling/main.wdl" \ --parameter-template-path "parameters/variant-calling-params.json" \ --readme-path "docs/variant-calling-README.md" \ --storage-type "DYNAMIC" \
Weitere Beispiele finden Sie im Blogbeitrag Wie erstelle ich ein AWS HealthOmics Workflows aus Inhalten in Git
Geben Sie eine Readme-Datei an
Sie können den Speicherort der README-Datei mithilfe eines der folgenden Parameter angeben:
-
readme-markdown — Zeichenketteneingabe oder eine Datei auf Ihrem lokalen Computer.
-
readme-uri — Die URI einer auf S3 gespeicherten Datei.
-
readme-path — Der Pfad zur README-Datei im Repository.
Verwenden Sie den Readme-Pfad nur in Verbindung mit Definition-Repository. Wenn Sie keinen README-Parameter angeben, HealthOmics importiert die Stammebene README.md Datei im Projektarchiv (falls sie existiert).
Die folgenden Beispiele zeigen, wie Sie den Speicherort der README-Datei mithilfe von readme-Pfad und readme-uri angeben.
# Using README from repository aws omics create-workflow \ --name "documented-workflow" \ --definition-repository '...' \ --readme-path "docs/workflow-guide.md" # Using README from S3 aws omics create-workflow \ --name "s3-readme-workflow" \ --definition-repository '...' \ --readme-uri "s3://my-bucket/workflow-docs/readme.md"
Weitere Informationen finden Sie unter HealthOmics Workflow-README-Dateien.
Geben Sie den an Haupt Definitionsdatei
Wenn Sie mehrere Workflow-Definitionsdateien einbeziehen, verwenden Sie die main Parameter, um die Hauptdefinitionsdatei für Ihren Workflow anzugeben.
aws omics create-workflow \ --name Test \ --main multi_workflow/workflow2.wdl \ ...
Geben Sie den Laufspeichertyp an
Sie können den Standard-Laufspeichertyp (DYNAMIC oder STATIC) und die Laufspeicherkapazität (für statischen Speicher erforderlich) angeben. Weitere Hinweise zu Run-Speichertypen finden Sie unter Speichertypen in HealthOmics Workflows ausführen.
aws omics create-workflow \ --name my_workflow \ --definition-zip fileb://my-definition.zip \ --parameter-template file://my-parameter-template.json \ --storage-type 'STATIC' \ --storage-capacity 1200 \
Geben Sie die GPU-Konfiguration an
Verwenden Sie den Accelerator-Parameter, um einen Workflow zu erstellen, der auf einer Instance mit beschleunigter Berechnung ausgeführt wird. Das folgende Beispiel zeigt, wie das verwendet wird accelerators Parameter. Sie geben die GPU-Konfiguration in der Workflow-Definition an. Siehe Accelerated-computing Instanzen.
aws omics create-workflow --name\ --definition-uri s3://amzn-s3-demo-bucket1/GPUWorkflow.zip \ --accelerators GPUworkflow name
Konfigurieren Sie die Parameter für die Pull-through-Cache-Zuordnung
Wenn Sie die Pull-Through-Cache-Zuordnungsfunktion von Amazon ECR verwenden, können Sie die Standardzuordnungen überschreiben. HealthOmics unterstützt Container-Registrierungen von Drittanbietern wie Amazon ECR Public, Kubernetes Container Image Registry, Quay, Docker Hub, Microsoft Azure Container Registry, GitHub Container Registry und GitLab Container-Registrierung. Weitere Hinweise zu den Container-Setup-Parametern finden Sie unter Container-Images für private Workflows.
Im folgenden Beispiel Datei mappings.json enthält diesen Inhalt:
{ "registryMappings": [ { "upstreamRegistryUrl": "registry-1.docker.io", "ecrRepositoryPrefix": "docker-hub" }, { "upstreamRegistryUrl": "quay.io", "ecrRepositoryPrefix": "quay", "ecrAccountId": "111122223333" }, { "upstreamRegistryUrl": "public.ecr.aws", "ecrRepositoryPrefix": "ecr-public" } ], "imageMappings": [{ "sourceImage": "docker.io/library/ubuntu:latest", "destinationImage": "111122223333.dkr.ecr.us-east-1.amazonaws.com/healthomics-docker-2/custom/ubuntu:latest" }, { "sourceImage": "nvcr.io/nvidia/k8s/dcgm-exporter", "destinationImage": "111122223333.dkr.ecr.us-east-1.amazonaws.com/healthomics-nvidia/k8s/dcgm-exporter" } ] }
Geben Sie die Zuordnungsparameter im Befehl create-workflow an:
aws omics create-workflow \ ... --container-registry-map file://mappings.json ...
Sie können auch den S3-Speicherort der Datei mit den Zuordnungsparametern angeben:
aws omics create-workflow \ ... --container-registry-map-uri s3://amzn-s3-demo-bucket1/test.zip ...
Konfigurieren Sie Cache-Mapping-Parameter ohne Pull-Through-Cache
Wenn Sie Container-Images aus Registries verwenden, die Pull-Through-Cache nicht unterstützt, fügen Sie credentialArn zu jeder Zuordnung für eine Registrierung HealthOmics kopiert von und verwendet den vollständigen geheimen ARN. Weitere Informationen finden Sie unter Verwendung von Drittanbieter-Registrierungen, die vom Pull-Through-Cache nicht unterstützt werden.
Im folgenden Beispiel Datei mappings.json enthält diesen Inhalt:
{ "registryMappings": [ { "upstreamRegistryUrl": "community.wave.seqera.io", "ecrRepositoryPrefix": "wave-seqera", "credentialArn": "arn:aws:secretsmanager:us-east-1:111122223333:secret:omics-registry/seqera-EXAMPLE" }, { "upstreamRegistryUrl": "nvcr.io", "ecrRepositoryPrefix": "nvidia-ngc", "credentialArn": "arn:aws:secretsmanager:us-east-1:111122223333:secret:omics-registry/nvidia-ngc-EXAMPLE" } ] }
Geben Sie die Zuordnungsparameter im Befehl create-workflow an:
aws omics create-workflow \ ... --container-registry-map file://mappings.json ...
Sie können die Registrierungsübersicht auch direkt bereitstellen. Im folgenden Beispiel wird ein Workflow mit einer Inline-Registrierungsübersicht für Seqera Containers erstellt:
aws omics create-workflow \ --namemy-workflow\ --engine NEXTFLOW \ --definition-uri s3://amzn-s3-demo-bucket1/my-definition.zip\ --container-registry-map '{ "registryMappings": [ { "upstreamRegistryUrl": "community.wave.seqera.io", "ecrRepositoryPrefix": "wave-seqera", "credentialArn": "arn:aws:secretsmanager:us-east-1:111122223333:secret:omics-registry/seqera-EXAMPLE" } ] }'
Einen Workflow mithilfe eines SDK erstellen
Sie können einen Workflow mit einem der SDKs erstellen. Das folgende Beispiel zeigt, wie Sie einen Workflow mit dem Python-SDK erstellen
import boto3 omics = boto3.client('omics') with open('definition.zip', 'rb') as f: definition = f.read() response = omics.create_workflow( name='my_workflow', definitionZip=definition, parameterTemplate={ ... } )