Accès à Internet pour les VPC-connected flux de travail

Lorsque vous connectez une AWS HealthOmics exécution à un VPC, l'exécution ne peut accéder qu'aux ressources disponibles au sein de ce VPC. Pour vous permettre d'accéder à l'Internet public ou à AWS des services extérieurs au VPC, vous devez configurer votre VPC avec les ressources réseau appropriées.

Cette rubrique explique comment configurer votre VPC pour fournir un accès Internet et une connectivité efficace aux AWS services de vos VPC-connected courses. Pour plus d'informations sur la connexion des runs à un VPC, consultezConnecter HealthOmics des flux de travail à un VPC.

Configuration d'un VPC avec accès à Internet

Pour permettre à vos VPC-connected courses d'accéder à Internet, créez un VPC avec des sous-réseaux privés qui acheminent le trafic sortant via une passerelle NAT.

Cette configuration fournit :

Régions et zones de disponibilité prises en charge

HealthOmics Workflows fonctionne dans les régions et zones de disponibilité suivantes. Lorsque vous créez votre VPC, assurez-vous que vos sous-réseaux se trouvent dans une ou plusieurs de ces zones de disponibilité.

Lorsque vous créez votre configuration HealthOmics VPC, spécifiez les sous-réseaux privés. Les runs utilisent la passerelle NAT du sous-réseau public pour accéder à Internet.

Points de terminaison VPC pour AWS services

Vous pouvez configurer les points de terminaison VPC pour permettre aux utilisateurs d'accéder aux AWS services sans passer par l'Internet public. Cela améliore la sécurité et peut réduire les coûts de transfert de données.

Le tableau suivant répertorie les points de terminaison VPC couramment utilisés pour les HealthOmics exécutions :

La liste complète des services auxquels vous pouvez accéder via des AWS PrivateLink terminaux se trouve dans AWS Services qui s'intègrent à AWS PrivateLink. Pour obtenir des instructions détaillées sur la configuration des terminaux, reportez-vous à la section Accès aux AWS services AWS PrivateLink dans le AWS PrivateLink Guide.

Exigences relatives à la passerelle NAT

Pour les courses nécessitant un accès public à Internet :

Configuration du groupe de sécurité

Configurez vos groupes de sécurité pour autoriser le trafic sortant vers les destinations auxquelles vos courses doivent accéder :

L'exemple suivant montre une règle de groupe de sécurité pour l'accès public à Internet :

Configuration de la table de routage

Assurez-vous que vos sous-réseaux privés contiennent des entrées de table de routage qui dirigent le trafic Internet vers une passerelle NAT :

Pour accéder aux ressources locales, configurez des itinéraires vers une passerelle ou une passerelle privée virtuelle.

Autorisations IAM pour AWS services

Lorsque vos tâches de flux de travail accèdent à des AWS services tels qu'Amazon Athena, AWS Glue ou Amazon DynamoDB en mode réseau VPC, vous devez ajouter les autorisations nécessaires au rôle de service que vous transmettez à l'API. StartRun Sans ces autorisations, les tâches de votre flux de travail échoueront AccessDeniedException ou entraîneront UnauthorizedException des erreurs.

Si votre flux de travail échoue en raison d'erreurs d'autorisation, consultez les CloudWatch journaux relatifs à l'exécution de votre flux de travail. Les messages d'erreur courants incluent AccessDeniedException: You are not authorized to perform: action on the resource (le rôle de service n'a pas l'autorisation IAM requise) ou UnrecognizedClientException: The security token included in the request is invalid (la politique de confiance du rôle de service est peut-être mal configurée ou l'ARN du rôle transmis StartRun est incorrect).

Autorisations de service communes

Les exemples suivants montrent les autorisations IAM pour les AWS services couramment utilisés dans les flux de travail en mode VPC. Ajoutez ces autorisations à votre politique de rôle de service en fonction des services auxquels votre flux de travail accède.

{
  "Effect": "Allow",
  "Action": [
    "athena:StartQueryExecution",
    "athena:GetQueryExecution",
    "athena:GetQueryResults",
    "athena:StopQueryExecution"
  ],
  "Resource": "arn:aws:athena:region:account-id:workgroup/workgroup-name"
}

{
  "Effect": "Allow",
  "Action": [
    "glue:GetDatabase",
    "glue:GetTable",
    "glue:GetPartitions",
    "glue:CreateTable",
    "glue:UpdateTable"
  ],
  "Resource": [
    "arn:aws:glue:region:account-id:catalog",
    "arn:aws:glue:region:account-id:database/database-name",
    "arn:aws:glue:region:account-id:table/database-name/*"
  ]
}

{
  "Effect": "Allow",
  "Action": [
    "dynamodb:GetItem",
    "dynamodb:PutItem",
    "dynamodb:Query",
    "dynamodb:Scan"
  ],
  "Resource": "arn:aws:dynamodb:region:account-id:table/table-name"
}

{
  "Effect": "Allow",
  "Action": [
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:region:account-id:bucket/bucket-name/table/table-id"
}

Tester la connectivité VPC

Avant d'exécuter les flux de production, vérifiez que votre configuration VPC permet la connectivité aux services externes requis.

Création d'un flux de travail de test

Créez un flux de travail simple qui teste la connectivité à votre service externe. Par exemple, créez un flux de travail qui tente d'établir une connexion TCP vers un point de terminaison de service cible.

Exécutez le test

aws omics start-run \
  --workflow-id test-workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket-name/test-outputs/ \
  --networking-mode VPC \
  --configuration-name configuration-name \
  --parameters file://test-parameters.json

Vérifier les résultats

Vérifiez le résultat du flux de travail pour confirmer la bonne connexion :

{
  "connectivity_test.result": "Testing connection to external service...\nSUCCESS: Connection successful!\nTest completed"
}

Si le test échoue, vérifiez les points suivants :

Exemples

Accès aux données NCBI avec authentification par API

Cet exemple montre comment accéder aux données NCBI à l'aide de l'API NCBI Datasets avec authentification.

Pour obtenir votre clé d'API NCBI, consultez la documentation sur les clés d'API NCBI.

Exemple de définition de flux de travail :

version 1.0
#WORKFLOW DEFINITION

# Meant to be used as integration test for public internet access via VPC tunnel
workflow TestFlow {
    input {
        String ncbi_api_url = "https://api.ncbi.nlm.nih.gov/datasets/v2/gene/accession/NM_021803.4?api_key=<YOUR_API_KEY>"
    }

    call DataProcessTask{
        input:
            ncbi_api_url = ncbi_api_url,
    }

    output {
        File output_file = DataProcessTask.output_file
    }

}

#Task Definitions
task DataProcessTask {
    input {
        String ncbi_api_url
    }

    command <<<
        set -eu
        # Download file from NCBI Datasets API with API key
        curl -fsSL "~{ncbi_api_url}" -o gene_data.json

        # Add data processing task here
        cat gene_data.json > processed_data.json

        # Echo the content to output file
        cat processed_data.json > outfile.txt
    >>>

    output {
        File output_file = "outfile.txt"
    }
}

Points clés :

Pour plus d'informations sur les clés d'API NCBI et les limites de débit, consultez la documentation de l'API NCBI Datasets.

Bonnes pratiques