Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
HealthOmics exécuter les entrées
Si la définition du flux de travail spécifie des fichiers d'entrée pour le flux de travail ou les tâches du HealthOmics flux de travail, place les fichiers dans un volume de travail dédié à l'exécution du flux de travail. Ces fichiers d'entrée sont en lecture seule, ce qui empêche les tâches de modifier les entrées potentielles d'autres tâches du flux de travail. Pour les importations de répertoires, les répertoires sont également en lecture seule.
De nombreuses applications génomiques supposent que les fichiers d'index sont situés au même endroit que les fichiers de séquences (comme le bai fichier d'accompagnement d'un bam fichier). Pour inclure des fichiers d'index, spécifiez-les en tant qu'entrées de tâche dans la définition du flux de travail.
Rubriques
Gestion de la taille des paramètres d'exécution
Lorsque vous démarrez une exécution, vous spécifiez des entrées d'exécution dans l'objet ou le fichier JSON des paramètres d'exécution. Vous pouvez spécifier jusqu'à 256 Ko de paramètres d'exécution pour le flux de travail. Vous pouvez utiliser les techniques suivantes pour respecter cette contrainte de taille :
-
Utiliser les importations de répertoires
Pour spécifier un grand nombre de fichiers d'entrée, spécifiez un paramètre comme emplacement Amazon S3 contenant tous les fichiers, plutôt que de spécifier un paramètre pour chaque emplacement de fichier. Pour plus d'informations, consultez la rubrique suivante (Formats de paramètres d'entrée Amazon S3).
-
Utilisez une feuille d'échantillons
Une feuille d'exemple est un fichier CSV ou TSV comportant une colonne pour l'adresse fastq.gz (ou deux pour une lecture couplée) et des colonnes supplémentaires pour les métadonnées telles que les noms des exemples. Vous spécifiez la feuille d'échantillons en tant que paramètre d'entrée d'exécution au lieu d'un paramètre pour chaque fichier d'entrée.
Votre flux de travail définit la manière dont votre feuille d'exemple correspond aux structures de données du flux de travail. Bien que vous puissiez écrire du code pour les feuilles d'échantillons dans WDL et CWL, elles sont plus courantes dans. NextFlow Pour un exemple, consultez la feuille d'exemple
sur le site nf-core GitHub .
Formats de paramètres d'entrée Amazon S3
Pour un paramètre d'entrée qui accepte un emplacement Amazon S3, le paramètre peut spécifier l'emplacement d'un fichier ou d'un répertoire complet de fichiers. L'utilisation d'un répertoire présente les avantages suivants :
-
Commodité : vous spécifiez le nom du répertoire en tant que paramètre. Vous ne listez pas chaque nom de fichier.
-
Compacité : la taille de fichier maximale du paramètre d'entrée est de 256 Ko. Si vous fournissez une longue liste de noms de fichiers d'entrée, vous pouvez dépasser ce maximum.
Amazon S3 est un système de stockage d'objets plat, il ne prend donc pas en charge les répertoires. Vous regroupez les fichiers dans un « répertoire » en attribuant à chaque fichier le même préfixe de clé d'objet. Pour plus d'informations sur les préfixes de clé d'objet Amazon S3, consultez la section Organisation des objets à l'aide de préfixes.
HealthOmics interprète la valeur du paramètre d'entrée comme suit :
-
Si l'emplacement Amazon S3 ne se termine pas par une barre oblique ou n'utilise pas le schéma globulaire, HealthOmics attendez-vous à ce que la valeur du paramètre soit la clé d'un objet Amazon S3.
Par exemple, vous spécifiez de
s3://myfiles/runs/inputs/a/file1.fastqsaisir file1.fastq -
Si l'emplacement Amazon S3 se termine par une barre oblique, HealthOmics interprète la valeur du paramètre comme un préfixe Amazon S3. Il charge tous les objets Amazon S3 avec ce préfixe.
Par exemple, vous pouvez spécifier
s3://myfiles/runs/inputs/a/de charger tous les objets dont les clés commencent par ce préfixe. -
Pour Nextflow, prend HealthOmics partiellement en charge le modèle global pour les URI Amazon S3 dans les paramètres d'entrée.
Par exemple, vous pouvez spécifier de
“s3://myfiles/runs/inputs/a/*.gz”saisir tous les fichiers .gz dont les clés commencent par ce préfixe.
Nextflow Gestion du modèle Glob dans les entrées Amazon S3
| Motif Glob | HealthOmics Comportement du match | Remarques |
|---|---|---|
| s3 ://bucket/directory/*.txt | Correspond à tous les .txt objets, quelle que soit leur profondeur, sous le préfixe s3 ://bucket/directory/. Par exemple, correspond à s3 ://bucket/directory/abc.txt ou s3 ://bucket/directory/subDir/123.txt, etc. |
|
| s3 ://bucket/directory/**/*.txt | Correspond à tous les .txt objets, quelle que soit leur profondeur, sous le préfixe s3 ://bucket/directory/. Par exemple, correspond à s3 ://bucket/directory/abc.txt ou s3 ://bucket/directory/subDir/123.txt, etc. |
Dans S3, ** est équivalent à*. |
| s3 ://bucket/directory/{a, b} .txt | s3 ://bucket/directory/a.txt, s3 ://bucket/directory/b.txt | |
| s3 ://bucket/directory/?. txt | Correspond aux objets à la racine du préfixe dont le nom de fichier est composé d'un caractère unique suivi de. .txt Par exemple, il correspond à s3 ://bucket/directory/a.txt mais pas à s3 ://bucket/directory/someDir/a.txt ou s3 ://bucket/directory//a.txt someDir/subDir |
|
| s3 ://bucket/directory/[0-9] .txt | s3 ://bucket/directory/0.txt, s3 ://bucket/directory/1.txt,... , s3 ://bucket/directory/9.txt | |
| s3 ://bucket/directory/[0-9] .txt | s3 ://bucket/directory/1.txt, s3 ://bucket/directory/2.txt, s3 ://bucket/directory/3.txt | |
| s3 ://bucket/directory/[0-9] .txt | s3 ://bucket/directory/b.txt, s3 ://bucket/directory/c.txt,... , s3 ://bucket/directory/Y.txt |
Language-specific gestion de la double barre oblique dans les entrées Amazon S3
HealthOmics conserve le comportement du moteur natif pour chaque moteur de flux de travail lors de la gestion des barres obliques doubles dans les URI Amazon S3, de sorte que vous n'avez pas à apporter de modifications à vos flux de travail lorsque vous les migrez vers. HealthOmics Les sections suivantes décrivent comment chaque moteur gère les différents scénarios.
WDL
Si le paramètre d'entrée inclut une double barre oblique au milieu ou à la fin de l'URI, le moteur WDL conserve la double barre oblique.
| Paramètre d'entrée | Lieu prévu |
|---|---|
| s3 ://myfiles/runs/inputs//file1.fastq | s3 ://myfiles/runs/inputs//file1.fastq |
| s3 ://myfiles/runs/entrées// | s3 ://myfiles/runs/entrées// |
Flux suivant
Si le paramètre d'entrée inclut une double barre oblique au milieu de l'URI, le moteur Nextflow conserve une double barre oblique. Pour une double barre oblique à la fin de l'URI, le moteur Nextflow la résout en une seule barre oblique.
| Paramètre d'entrée | Lieu prévu |
|---|---|
| s3 ://myfiles/runs/inputs//file1.fastq | s3 ://myfiles/runs/inputs//file1.fastq |
| s3://myfiles//runs/inputs//*.gz | s3://myfiles//runs/inputs//*.gz |
| s3://myfiles//runs/inputs// | s3://myfiles//runs/inputs/ |
CWL
Si le paramètre d'entrée inclut une double barre oblique au milieu ou à la fin de l'URI, le moteur CWL conserve la double barre oblique.
| Paramètre d'entrée | Lieu prévu |
|---|---|
| s3://myfiles// runs/inputs //file1.fastq | s3://myfiles// runs/inputs //file1.fastq |
| s3://myfiles//runs/inputs// | s3://myfiles//runs/inputs// |
États des archives d'entrée Amazon S3
HealthOmics peut récupérer les objets Amazon S3 que S3 fournit en temps réel. Pour les objets qui se trouvent dans les états de stockage archivés suivants, restore les objets auxquels ils doivent être mis à disposition HealthOmics :
-
Classes de stockage flexibles Retrieval ou Deep Archive dans Amazon S3 Glacier.
-
Niveaux d'accès archivé ou d'accès à l'archivage approfondi dans le cadre de la hiérarchisation intelligente.
Pour plus d'informations sur la restauration d'objets, consultez la section Restauration d'un objet archivé dans le Guide de l'utilisateur Amazon S3.
