View a markdown version of this page

Accès à des ensembles de HealthOmics lecture avec des URI Amazon S3 - AWS HealthOmics
Structure d'URI Amazon S3 dans le HealthOmics stockageUtilisation d'un IGV hébergé ou local pour accéder aux ensembles de lectureUtiliser Samtools ou HTSlib dans HealthOmicsUtilisation de Mountpoint HealthOmicsUtilisation CloudFront avec HealthOmics

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Accès à des ensembles de HealthOmics lecture avec des URI Amazon S3

Vous pouvez utiliser les chemins URI Amazon S3 pour accéder aux ensembles de lecture de votre magasin de séquences actif.

Avec le chemin URI Amazon S3, vous pouvez utiliser les opérations Amazon S3 pour répertorier, partager et télécharger vos ensembles de lecture. L'accès via les API S3 accélère la collaboration et l'intégration des outils, étant donné que de nombreux outils industriels sont déjà conçus pour lire depuis S3. En outre, vous pouvez partager l'accès aux API S3 avec d'autres comptes et fournir un accès en lecture interrégional aux données.

HealthOmics ne prend pas en charge l'accès URI Amazon S3 aux ensembles de lecture archivés. Lorsque vous activez un ensemble de lecture, il est restauré avec le même chemin d'URI à chaque fois.

Lorsque les données sont chargées dans HealthOmics les magasins, étant donné que l'URI Amazon S3 est basé sur les points d'accès Amazon S3, vous pouvez directement intégrer les outils standard du secteur qui lisent les URI Amazon S3, tels que les suivants :

  • Applications d'analyse visuelle telles que Integrative Genomics Viewer (IGV) ou UCSC Genome Browser.

  • Flux de travail courants avec les extensions Amazon S3 telles que CWL, WDL et Nextflow.

  • Tout outil capable d'authentifier et de lire à partir d'un point d'accès les URI Amazon S3 ou de lire les URI Amazon S3 présignés.

  • Utilitaires Amazon S3 tels que Mountpoint ou. CloudFront

Amazon S3 Mountpoint vous permet d'utiliser un compartiment Amazon S3 comme système de fichiers local. Pour en savoir plus sur Mountpoint et pour l'installer en vue de son utilisation, consultez Mountpoint pour Amazon S3.

Amazon CloudFront est un service de réseau de diffusion de contenu (CDN) conçu pour offrir des performances élevées, une sécurité et une commodité pour les développeurs. Pour en savoir plus sur l'utilisation d'Amazon CloudFront, consultez la CloudFront documentation Amazon. Pour configurer CloudFront un magasin de séquences, contactez l' AWS HealthOmics équipe.

Le compte root du propriétaire des données est activé pour les actions S3:GetObject S3:GetObjectTagging, et S3:List Bucket sur le préfixe de stockage des séquences. Pour qu'un utilisateur du compte puisse accéder aux données, vous créez une politique IAM et vous l'associez à l'utilisateur ou au rôle. Pour un exemple de politique, consultez Autorisations d'accès aux données à l'aide d'Amazon S3 URIs.

Vous pouvez utiliser les opérations d'API Amazon S3 suivantes sur les ensembles de lecture actifs pour répertorier et récupérer vos données. Vous pouvez accéder aux ensembles de lecture archivés via les URI Amazon S3 une fois qu'ils ont été activés.

  • GetObject— Récupère un objet depuis Amazon S3.

  • HeadObject— L'opération HEAD extrait les métadonnées d'un objet sans renvoyer l'objet lui-même. Cette opération est utile si vous souhaitez uniquement les métadonnées d'un objet.

  • ListObjects et ListObject v2 — Renvoie une partie ou la totalité (jusqu'à 1 000) des objets d'un compartiment.

  • CopyObject— Crée une copie d'un objet déjà stocké dans Amazon S3. HealthOmicsprend en charge la copie vers un point d'accès Amazon S3, mais pas l'écriture vers un point d'accès.

HealthOmics les magasins de séquences conservent l'identité sémantique des fichiers grâce à des ETags. Tout au long du cycle de vie d'un fichier, l'ETag Amazon S3, qui est basé sur l'identité au niveau du bit, peut changer, mais l' HealthOmics ETag reste le même. Pour en savoir plus, veuillez consulter la section HealthOmics ETags et provenance des données.

Structure d'URI Amazon S3 dans le HealthOmics stockage

Tous les fichiers dotés d'URI Amazon S3 possèdent omics:subjectId des balises de omics:sampleId ressources. Vous pouvez utiliser ces balises pour partager l'accès en utilisant des politiques IAM selon un modèle tel que"s3:ExistingObjectTag/omics:subjectId": "pattern desired".

La structure des fichiers est la suivante :

.../account_id/sequenceStore/seq_store_id/readSet/read_set_id/files.

Pour les fichiers importés dans des magasins de séquences depuis Amazon S3, le magasin de séquences tente de conserver le nom de la source d'origine. En cas de conflit de noms, le système ajoute des informations relatives à l'ensemble de lecture pour garantir que les noms de fichiers sont uniques. Par exemple, pour les ensembles de lecture fastq, si les deux noms de fichiers sont identiques, afin de rendre les noms uniques, il sourceX est inséré avant .fastq.gz ou .fq.gz. Pour un téléchargement direct, les noms de fichiers suivent les modèles suivants :

  • Pour FASTQ— read_set_name _ sourcex .fastq.gz

  • Pour uBAM/BAM /CRAM —. read_set_name file extensionavec des extensions de .bam ou.cram. Par exemple : NA193948.bam.

Pour les ensembles de lecture BAM ou CRAM, les fichiers d'index sont automatiquement générés lors du processus d'ingestion. Pour les fichiers d'index générés, l'extension d'index appropriée à la fin du nom de fichier est appliquée. Il a le modèle <name of the Source the index is on>.<file index extension>. Les extensions d'index sont .bai ou.crai.

Utilisation d'un IGV hébergé ou local pour accéder aux ensembles de lecture

IGV est un navigateur génomique utilisé pour analyser les fichiers BAM et CRAM. Il nécessite à la fois le fichier et l'index car il n'affiche qu'une partie du génome à la fois. L'IGV peut être téléchargé et utilisé localement, et il existe des guides pour créer un IGV hébergé par AWS. La version Web publique n'est pas prise en charge car elle nécessite CORS.

L'IGV local s'appuie sur la AWS configuration locale pour accéder aux fichiers. Assurez-vous que le rôle utilisé dans cette configuration est associé à une politique qui active les GetObject autorisations KMS:Decrypt et s3 : sur l'URI s3 des ensembles de lecture auxquels vous accédez. Ensuite, dans IGV, vous pouvez utiliser « Fichier > charger à partir de l'URL » et coller l'URI de la source et de l'index. Il est également possible de générer et d'utiliser des URL présignées de la même manière, ce qui permet de contourner la configuration AWS. Notez que CORS n'est pas pris en charge avec l'accès URI Amazon S3, de sorte que les demandes basées sur CORS ne sont pas prises en charge.

L'exemple d'IGV AWS hébergé s'appuie sur AWS Cognito pour créer les configurations et autorisations appropriées au sein de l'environnement. Assurez-vous qu'une politique est créée qui active les GetObject autorisations KMS:Decrypt et s3 : sur l'URI Amazon S3 des ensembles de lecture auxquels vous accédez, puis ajoutez cette politique au rôle attribué au groupe d'utilisateurs Cognito. Ensuite, dans IGV, vous pouvez utiliser « Fichier > charger à partir de l'URL » et saisir l'URI de la source et de l'index. Les URL présignées peuvent également être générées et utilisées de la même manière, ce qui permet de contourner la configuration AWS.

Notez que le magasin de séquences n'apparaîtra pas sous l'onglet « Amazon » car il affiche uniquement les compartiments dont vous êtes propriétaire dans la région dans laquelle le AWS profil est configuré.

Utiliser Samtools ou HTSlib dans HealthOmics

HTSlib est la bibliothèque principale partagée par plusieurs outils tels que Samtools, RSAMtools et autres. PySam Utilisez HTSlib version 1.20 ou ultérieure pour bénéficier d'une prise en charge fluide des points d'accès Amazon S3. Pour les anciennes versions de la bibliothèque HTSlib, vous pouvez utiliser les solutions suivantes :

  • Définissez la variable d'environnement pour l'hôte HTS Amazon S3 avec :export HTS_S3_HOST="s3.region.amazonaws.com".

  • Générez une URL présignée pour les fichiers que vous souhaitez utiliser. Si un BAM ou un CRAM est utilisé, assurez-vous qu'une URL présignée est générée à la fois pour le fichier et pour l'index. Ensuite, les deux fichiers peuvent être utilisés avec les bibliothèques.

  • Utilisez Mountpoint pour monter le préfixe de stockage de séquences ou d'ensemble de lecture dans le même environnement que celui dans lequel vous utilisez les bibliothèques HTSlib. À partir de là, les fichiers sont accessibles en utilisant les chemins de fichiers locaux.

Utilisation de Mountpoint HealthOmics

Mountpoint pour Amazon S3 est un client de fichiers simple à haut débit permettant de monter un compartiment Amazon S3 en tant que système de fichiers local. Avec Mountpoint pour Amazon S3, vos applications peuvent accéder aux objets stockés dans Amazon S3 par le biais d'opérations sur les fichiers telles que l'ouverture et la lecture. Mountpoint pour Amazon S3 traduit automatiquement ces opérations en appels d'API d'objets Amazon S3, permettant à vos applications d'accéder au stockage élastique et au débit d'Amazon S3 via une interface de fichiers.

Mountpoint peut être installé en suivant les instructions d'installation de Mountpoint. Mountpoint utilise le profil AWS local à l'installation et fonctionne au niveau du préfixe Amazon S3. Assurez-vous que le profil utilisé possède une politique qui active les autorisations s3 :GetObject, s3 : ListBucket et kms:Decrypt sur le préfixe URI Amazon S3 du ou des ensembles de lecture ou du magasin de séquences auquel vous accédez. Ensuite, le godet peut être monté en suivant le chemin suivant : 

mount-s3 access point arn local path to mount --prefix prefix to sequence store or read set --region region

Utilisation CloudFront avec HealthOmics

Amazon CloudFront est un service de réseau de diffusion de contenu (CDN) conçu pour offrir des performances élevées, une sécurité et une commodité pour les développeurs. Les clients qui souhaitent utiliser CloudFront doivent travailler avec l'équipe de service pour activer la CloudFront distribution. Collaborez avec l'équipe chargée de votre compte pour impliquer l'équipe HealthOmics de service.