Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Crea un flusso di lavoro privato
Crea un flusso di lavoro utilizzando HealthOmics console, AWS comandi CLI o uno dei AWS SDK.
Non includere informazioni di identificazione personale (PII) nei nomi dei flussi di lavoro. Questi nomi sono visibili in CloudWatch registri.
Quando si crea un flusso di lavoro, HealthOmics assegna un identificatore univoco universale (UUID) al flusso di lavoro. L'UUID del flusso di lavoro è un identificatore univoco globale (GUID) univoco tra i flussi di lavoro e le versioni del flusso di lavoro. Ai fini della provenienza dei dati, ti consigliamo di utilizzare l'UUID del flusso di lavoro per identificare in modo univoco i flussi di lavoro.
Se le attività del flusso di lavoro utilizzano strumenti esterni (eseguibili, librerie o script), è possibile creare questi strumenti in un'immagine contenitore. Sono disponibili le seguenti opzioni per ospitare l'immagine del contenitore:
-
Ospita l'immagine del contenitore nel registro privato ECR. Prerequisiti per questa opzione:
-
Crea un repository privato ECR o scegli un repository esistente.
-
Configura la politica delle risorse ECR come descritto in Autorizzazioni Amazon ECR.
-
Carica l'immagine del contenitore nel repository privato.
-
-
Sincronizza l'immagine del contenitore con il contenuto di un registro di terze parti supportato. Prerequisiti per questa opzione:
-
Nel registro privato ECR, configura una regola di pull through cache per ogni registro upstream. Per ulteriori informazioni, consulta Mappature delle immagini.
-
Configura la politica delle risorse ECR come descritto in Autorizzazioni Amazon ECR.
-
Crea modelli per la creazione di repository. Il modello definisce le impostazioni per quando Amazon ECR crea il repository privato per un registro upstream.
-
Crea mappature dei prefissi per rimappare i riferimenti alle immagini dei contenitori nella definizione del flusso di lavoro ai namespace della cache ECR.
-
Quando si crea un flusso di lavoro, si fornisce una definizione del flusso di lavoro che contiene informazioni sul flusso di lavoro, sulle esecuzioni e sulle attività. HealthOmics puoi recuperare la definizione del flusso di lavoro come archivio .zip archiviato localmente o in un bucket Amazon S3 o da un contenitore supportato Git-based repository.
Argomenti
Creazione di un flusso di lavoro utilizzando la console
Passaggi per creare un flusso di lavoro
-
Apri la console HealthOmics
. -
Se necessario, apri il pannello di navigazione a sinistra (≡). Scegli Flussi di lavoro privati.
-
Sul Flussi di lavoro privati pagina, scegli Crea flusso di lavoro.
-
Sul Definisci flusso di lavoro pagina, fornisci le seguenti informazioni:
-
Nome del flusso di lavoro: nome distintivo per questo flusso di lavoro. Si consiglia di impostare i nomi dei flussi di lavoro per organizzare le esecuzioni in AWS HealthOmics console e CloudWatch registri.
-
Descrizione (opzionale): una descrizione di questo flusso di lavoro.
-
-
Nel Definizione del workflow pannello, fornisce le seguenti informazioni:
-
lingua del flusso di lavoro (opzionale): seleziona la lingua delle specifiche del flusso di lavoro. Altrimenti, HealthOmics determina la lingua in base alla definizione del flusso di lavoro.
-
Per Fonte di definizione del flusso di lavoro, scegli di importare la cartella delle definizioni da un Git-based repository, una posizione Amazon S3 o da un'unità locale.
-
Per Importazione da un servizio di repository:
NotaHealthOmics supporta archivi pubblici e privati per GitHub, GitLab, Bitbucket, GitHub self-managed, GitLab self-managed.
-
Scegli un Connessione per connettere il tuo AWS risorse al repository esterno. Per creare una connessione, vedi Connettiti con archivi di codice esterni.
NotaClienti in TLV la regione deve creare una connessione in IAD (us-east-1) regione in cui creare un flusso di lavoro.
-
Nella ID completo del repository, inserisci l'ID del tuo repository come utente-name/repo-nome. Verifica di avere accesso ai file in questo repository.
-
In Riferimento alla fonte (opzionale), inserisci un riferimento alla fonte del repository (branch, tag o commit ID). HealthOmics utilizza il ramo predefinito se non viene specificato alcun riferimento alla fonte.
-
In Escludere modelli di file, inserisci i modelli di file per escludere cartelle, file o estensioni specifici. Questo aiuta a gestire le dimensioni dei dati durante l'importazione dei file del repository. Esistono un massimo di 50 schemi e gli schemi devono seguire sintassi glob pattern
. Ad esempio: -
tests/ -
*.jpeg -
large_data.zip
-
-
-
Per Seleziona la cartella delle definizioni da S3:
-
Inserisci la posizione Amazon S3 che contiene la cartella di definizione del flusso di lavoro compressa. Il bucket Amazon S3 deve trovarsi nella stessa regione del flusso di lavoro.
-
Se il tuo account non è proprietario del bucket Amazon S3, inserisci quello del proprietario del bucket AWS ID dell'account nel ID dell'account del proprietario del bucket S3. Queste informazioni sono necessarie affinché HealthOmics può verificare la proprietà del bucket.
-
-
Per Seleziona la cartella delle definizioni da una fonte locale:
-
Inserisci la posizione dell'unità locale della cartella di definizione del flusso di lavoro compressa.
-
-
-
Percorso principale del file di definizione del flusso di lavoro (opzionale): immettere il percorso del file dalla cartella o dal repository di definizione del flusso di lavoro compresso al
mainfile. Questo parametro non è obbligatorio se è presente un solo file nella cartella di definizione del flusso di lavoro o se il file principale è denominato «main».
-
-
Nel file README pannello (opzionale), seleziona il Fonte del file README e fornire le seguenti informazioni:
-
Per Importazione da un servizio di repository, nel percorso del file README, inserisci il percorso del file README all'interno del repository.
-
Per Seleziona un file da S3, nel file README in S3, inserisci l'URI Amazon S3 per il file README.
-
Per Seleziona il file da una fonte locale: nel README - opzionale, scegli Scegli un file per selezionare il file markdown (.md) da caricare.
-
-
Nel Configurazione di archiviazione di esecuzione predefinita pannello, fornisce il tipo di archiviazione e la capacità di esecuzione predefiniti per le esecuzioni che utilizzano questo flusso di lavoro:
-
Tipo di archiviazione in esecuzione: scegli se utilizzare l'archiviazione statica o dinamica come impostazione predefinita per l'archiviazione temporanea in esecuzione. L'impostazione predefinita è l'archiviazione statica.
-
Esegui la capacità di archiviazione (opzionale): per il tipo di archiviazione in esecuzione statica, è possibile immettere la quantità predefinita di archiviazione in esecuzione richiesta per questo flusso di lavoro. Il valore predefinito per questo parametro è 1200 GiB. È possibile sovrascrivere questi valori predefiniti quando si avvia una corsa.
-
-
Tag (opzionale): puoi associare fino a 50 tag a questo flusso di lavoro.
-
Scegli Avanti.
-
Sul Aggiungere i parametri del flusso di lavoro pagina (opzionale), seleziona Fonte dei parametri:
-
Per Analizza dal file di definizione del flusso di lavoro, HealthOmics analizzerà automaticamente i parametri del flusso di lavoro dal file di definizione del flusso di lavoro.
-
Per Fornisci un modello di parametro dal repository Git, usa il percorso del file del modello di parametro dal tuo repository.
-
Per Seleziona il file JSON dalla fonte locale, carica un JSON file da una fonte locale che specifica i parametri.
-
Per Inserisci manualmente i parametri del flusso di lavoro, immettete manualmente i nomi e le descrizioni dei parametri.
-
-
Nel Anteprima dei parametri pannello, è possibile rivedere o modificare i parametri per questa versione del flusso di lavoro. Se ripristini il JSON perderai tutte le modifiche locali apportate.
-
Scegli Avanti.
-
Sul Rimappatura dell'URI del contenitore pagina, nella Regole di mappatura pannello, puoi definire le regole di mappatura URI per il tuo flusso di lavoro.
Per Fonte del file di mappatura, seleziona una delle seguenti opzioni:
-
Nessuna — Non sono richieste regole di mappatura.
-
Seleziona il file JSON da S3 — Specificare la posizione S3 per il file di mappatura.
-
Seleziona il file JSON da una fonte locale — Specifica la posizione del file di mappatura sul tuo dispositivo locale.
-
Inserisci manualmente le mappature — inserire le mappature del registro e le mappature delle immagini nel mappature pannello.
-
La console visualizza il Mappature pannello. Se hai scelto un file sorgente di mappatura, la console visualizza i valori del file.
-
In Mappature del registro, è possibile modificare le mappature o aggiungere mappature (massimo 20 mappature del registro).
Ogni mappatura del registro contiene i seguenti campi:
-
URL del registro upstream — L'URI del registro upstream.
-
Prefisso del repository ECR — Il prefisso del repository da utilizzare nel repository privato Amazon ECR.
-
(Facoltativo) Prefisso del repository upstream — Il prefisso del repository nel registro upstream.
-
(Facoltativo) ID dell'account ECR — ID dell'account che possiede l'immagine originale del contenitore.
-
(Facoltativo) ARN delle credenziali — L'ARN del segreto di Secrets Manager che contiene le credenziali per il registro. Richiesto per i registri che Amazon ECR estrae dalla cache non supporta, come Seqera, NVIDIA NGC, Google Artifact Registry e Google Container Registry. Per ulteriori informazioni, consulta Utilizzo di registri di terze parti non supportati dalla cache pull through.
-
-
Nel Mappature delle immagini, è possibile modificare le mappature delle immagini o aggiungere mappature (massimo 100 mappature di immagini).
Ogni mappatura delle immagini contiene i seguenti campi:
-
Immagine di origine — Specifica l'URI dell'immagine sorgente nel registro upstream.
-
Immagine di destinazione — Specifica l'URI dell'immagine corrispondente nel registro privato Amazon ECR.
-
-
-
Scegli Avanti.
-
Rivedi la configurazione del flusso di lavoro, quindi scegli Crea flusso di lavoro.
Creazione di un flusso di lavoro utilizzando la CLI
Se i file del flusso di lavoro e il file del modello di parametro si trovano sul computer locale, è possibile creare un flusso di lavoro utilizzando il seguente comando CLI.
aws omics create-workflow \ --name "my_workflow" \ --definition-zip fileb://my-definition.zip \ --parameter-template file://my-parameter-template.json
Il create-workflow l'operazione restituisce la seguente risposta:
{ "arn": "arn:aws:omics:us-west-2:....", "id": "1234567", "status": "CREATING", "tags": { "resourceArn": "arn:aws:omics:us-west-2:...." }, "uuid": "64c9a39e-8302-cc45-0262-2ea7116d854f" }
Parametri opzionali da utilizzare durante la creazione di un flusso di lavoro
È possibile specificare uno qualsiasi dei parametri opzionali quando si crea un flusso di lavoro. Per i dettagli sulla sintassi, vedere CreateWorkflow in AWS HealthOmics Riferimento API.
Argomenti
Specifica la definizione del flusso di lavoro (posizione Amazon S3)
Se il file di definizione del flusso di lavoro si trova in una cartella Amazon S3, specifica la posizione utilizzando definition-uri parametro, come mostrato nell'esempio seguente. Se il tuo account non possiede il bucket Amazon S3, fornisci quello del proprietario Account AWS ID.
aws omics create-workflow \ --name Test \ --definition-uri s3://omics-bucket/workflow-definition/ \ --owner-id 123456789012 ...
Usa la definizione del flusso di lavoro da un Git-based magazzino
Per utilizzare la definizione del flusso di lavoro da un file supportato Git-based repository, usa il definition-repository parametro nella tua richiesta. Non fornirne altri definition parametro, poiché una richiesta ha esito negativo se include più di una sorgente di input.
Il definition-respository il parametro contiene i seguenti campi:
-
connectionArn — ARN del Code Connection che collega le risorse AWS al repository esterno.
-
fullRepositoryId — Inserisci l'ID del repository come
owner-name/repo-name. Verifica di avere accesso ai file in questo repository. -
sourceReference (Facoltativo): immettete un tipo di riferimento al repository (BRANCH, TAG o COMMIT) e un valore.
HealthOmics utilizza l'ultimo commit sul ramo predefinito se non specifichi un riferimento alla fonte.
-
excludeFilePatterns (Facoltativo): inserisci i modelli di file per escludere cartelle, file o estensioni specifiche. Ciò consente di gestire le dimensioni dei dati durante l'importazione dei file del repository. Fornisci un massimo di 50 modelli. I modelli devono seguire sintassi glob pattern
. Ad esempio: -
tests/ -
*.jpeg -
large_data.zip
-
Quando si specifica la definizione del flusso di lavoro da un Git-based repository, usa parameter-template-path per specificare il file modello di parametro. Se non fornisci questo parametro, HealthOmics crea il flusso di lavoro senza un modello di parametro.
L'esempio seguente mostra i parametri relativi al contenuto di un Git-based archivio privato:
aws omics create-workflow \ --name custom-variant \ --description "Custom variant calling pipeline" \ --engine "WDL" \ --definition-repository '{ "connectionArn": "arn:aws:codeconnections:us-east-1:123456789012:connection/abcd1234-5678-90ab-cdef-1234567890ab", "fullRepositoryId": "myorg/my-genomics-workflows", "sourceReference": { "type": "BRANCH", "value": "main" }, "excludeFilePatterns": ["tests/**", "*.log"] }' \ --main "workflows/variant-calling/main.wdl" \ --parameter-template-path "parameters/variant-calling-params.json" \ --readme-path "docs/variant-calling-README.md" \ --storage-type "DYNAMIC" \
Per altri esempi, consulta il post del blog Come creare un AWS HealthOmics Flussi di lavoro a partire dai contenuti in Git
Specifica un file Readme
È possibile specificare la posizione del file README utilizzando uno dei seguenti parametri:
-
readme-markdown — Inserimento di una stringa o di un file sul computer locale.
-
readme-uri — L'URI di un file archiviato su S3.
-
readme-path — Il percorso del file README nel repository.
Usa readme-path solo insieme a repository di definizioni. Se non specifichi alcun parametro README, HealthOmics importa il livello principale README.md file nel repository (se esiste).
Gli esempi seguenti mostrano come specificare la posizione del file README utilizzando readme-path e readme-uri.
# Using README from repository aws omics create-workflow \ --name "documented-workflow" \ --definition-repository '...' \ --readme-path "docs/workflow-guide.md" # Using README from S3 aws omics create-workflow \ --name "s3-readme-workflow" \ --definition-repository '...' \ --readme-uri "s3://my-bucket/workflow-docs/readme.md"
Per ulteriori informazioni, consulta HealthOmics File README del flusso di lavoro.
Specifica il principale file di definizione
Se si includono più file di definizione del flusso di lavoro, utilizzare main parametro per specificare il file di definizione principale per il flusso di lavoro.
aws omics create-workflow \ --name Test \ --main multi_workflow/workflow2.wdl \ ...
Specifica il tipo di archiviazione in esecuzione
È possibile specificare il tipo di archiviazione in esecuzione predefinito (DYNAMIC o STATIC) e la capacità di archiviazione in esecuzione (richiesta per l'archiviazione statica). Per ulteriori informazioni sui tipi di storage in esecuzione, vedere Esegui tipi di storage nei flussi HealthOmics di lavoro.
aws omics create-workflow \ --name my_workflow \ --definition-zip fileb://my-definition.zip \ --parameter-template file://my-parameter-template.json \ --storage-type 'STATIC' \ --storage-capacity 1200 \
Specifica la configurazione della GPU
Utilizza il parametro accelerators per creare un flusso di lavoro che viene eseguito su un'istanza di elaborazione accelerata. L'esempio seguente mostra come utilizzare accelerators parametro. La configurazione della GPU viene specificata nella definizione del flusso di lavoro. Consulta Accelerated-computing istanze.
aws omics create-workflow --name\ --definition-uri s3://amzn-s3-demo-bucket1/GPUWorkflow.zip \ --accelerators GPUworkflow name
Configura i parametri di mappatura della cache pull through
Se utilizzi la funzionalità di mappatura della cache pull through di Amazon ECR, puoi sovrascrivere le mappature predefinite. HealthOmics supporta registri di container di terze parti come Amazon ECR Public, Kubernetes Container Image Registry, Quay, Docker Hub, Microsoft Azure Container Registry, GitHub Container Registry e GitLab Registro dei contenitori. Per ulteriori informazioni sui parametri di configurazione del contenitore, vedere Immagini contenitore per flussi di lavoro privati.
Nel seguente esempio, file mappings.json contiene questo contenuto:
{ "registryMappings": [ { "upstreamRegistryUrl": "registry-1.docker.io", "ecrRepositoryPrefix": "docker-hub" }, { "upstreamRegistryUrl": "quay.io", "ecrRepositoryPrefix": "quay", "ecrAccountId": "111122223333" }, { "upstreamRegistryUrl": "public.ecr.aws", "ecrRepositoryPrefix": "ecr-public" } ], "imageMappings": [{ "sourceImage": "docker.io/library/ubuntu:latest", "destinationImage": "111122223333.dkr.ecr.us-east-1.amazonaws.com/healthomics-docker-2/custom/ubuntu:latest" }, { "sourceImage": "nvcr.io/nvidia/k8s/dcgm-exporter", "destinationImage": "111122223333.dkr.ecr.us-east-1.amazonaws.com/healthomics-nvidia/k8s/dcgm-exporter" } ] }
Specifica i parametri di mappatura nel comando create-workflow:
aws omics create-workflow \ ... --container-registry-map file://mappings.json ...
È inoltre possibile specificare la posizione S3 del file dei parametri di mappatura:
aws omics create-workflow \ ... --container-registry-map-uri s3://amzn-s3-demo-bucket1/test.zip ...
Configura i parametri di mappatura della cache con modalità non-pull through
Se utilizzi immagini di contenitori provenienti da registri che il pull through cache non supporta, aggiungi credentialArn a ogni mappatura per un registro che HealthOmics copia e utilizza l'ARN segreto completo. Per ulteriori informazioni, consulta Utilizzo di registri di terze parti non supportati dalla cache pull through.
Nel seguente esempio, file mappings.json contiene questo contenuto:
{ "registryMappings": [ { "upstreamRegistryUrl": "community.wave.seqera.io", "ecrRepositoryPrefix": "wave-seqera", "credentialArn": "arn:aws:secretsmanager:us-east-1:111122223333:secret:omics-registry/seqera-EXAMPLE" }, { "upstreamRegistryUrl": "nvcr.io", "ecrRepositoryPrefix": "nvidia-ngc", "credentialArn": "arn:aws:secretsmanager:us-east-1:111122223333:secret:omics-registry/nvidia-ngc-EXAMPLE" } ] }
Specifica i parametri di mappatura nel comando create-workflow:
aws omics create-workflow \ ... --container-registry-map file://mappings.json ...
Puoi anche fornire la mappa del registro in linea. L'esempio seguente crea un flusso di lavoro con una mappa del registro in linea per Seqera Containers:
aws omics create-workflow \ --namemy-workflow\ --engine NEXTFLOW \ --definition-uri s3://amzn-s3-demo-bucket1/my-definition.zip\ --container-registry-map '{ "registryMappings": [ { "upstreamRegistryUrl": "community.wave.seqera.io", "ecrRepositoryPrefix": "wave-seqera", "credentialArn": "arn:aws:secretsmanager:us-east-1:111122223333:secret:omics-registry/seqera-EXAMPLE" } ] }'
Creazione di un flusso di lavoro utilizzando un SDK
Puoi creare un flusso di lavoro utilizzando uno degli SDK. L'esempio seguente mostra come creare un flusso di lavoro utilizzando Python SDK
import boto3 omics = boto3.client('omics') with open('definition.zip', 'rb') as f: definition = f.read() response = omics.create_workflow( name='my_workflow', definitionZip=definition, parameterTemplate={ ... } )