Accesso a Internet per i VPC-connected flussi di lavoro

Quando connetti una AWS HealthOmics corsa a un VPC, l'esecuzione può accedere solo alle risorse disponibili all'interno di quel VPC. Per consentire all'utente di accedere alla rete Internet pubblica o ai AWS servizi esterni al VPC, è necessario configurare il VPC con le risorse di rete appropriate.

Questo argomento descrive come configurare il VPC per fornire accesso a Internet e connettività efficiente ai AWS servizi per le corse. VPC-connected Per informazioni sulla connessione delle corse a un VPC, consulta. Connessione HealthOmics dei flussi di lavoro a un VPC

Configurazione di un VPC con accesso a Internet

Per consentire alle tue VPC-connected corse di accedere a Internet, crea un VPC con sottoreti private che indirizzino il traffico in uscita attraverso un gateway NAT.

Questa configurazione fornisce:

Regioni supportate e zone di disponibilità

HealthOmics Workflows opera nelle seguenti regioni e zone di disponibilità. Quando crei il tuo VPC, assicurati che le sottoreti si trovino in una o più di queste zone di disponibilità.

Quando crei la configurazione VPC, specifica le sottoreti private HealthOmics . Le esecuzioni utilizzano il gateway NAT nella sottorete pubblica per raggiungere Internet.

Endpoint VPC per AWS services

È possibile configurare gli endpoint VPC per consentire alle esecuzioni di accedere ai AWS servizi senza attraversare la rete Internet pubblica. Ciò migliora la sicurezza e può ridurre i costi di trasferimento dei dati.

La tabella seguente elenca gli endpoint VPC comunemente usati per le esecuzioni: HealthOmics

L'elenco completo dei servizi a cui puoi accedere tramite gli AWS PrivateLink endpoint è disponibile in AWS Servizi che si integrano con. AWS PrivateLink Per istruzioni dettagliate sulla configurazione degli endpoint, consulta Access AWS services through AWS PrivateLink nella AWS PrivateLink Guida.

Requisiti del gateway NAT

Per le corse che richiedono l'accesso pubblico a Internet:

Configurazione del gruppo di sicurezza

Configura i tuoi gruppi di sicurezza per consentire il traffico in uscita verso le destinazioni a cui le tue corse devono accedere:

L'esempio seguente mostra una regola del gruppo di sicurezza per l'accesso pubblico a Internet:

Configurazione della tabella di routing

Assicurati che le tue sottoreti private contengano voci nella tabella di routing che indirizzano il traffico diretto a Internet verso un gateway NAT:

Per accedere alle risorse locali, configura i percorsi verso un gateway o gateway privato virtuale.

Autorizzazioni IAM per AWS services

Quando le attività del flusso di lavoro accedono a AWS servizi come Amazon Athena, AWS Glue o Amazon DynamoDB in modalità di rete VPC, devi aggiungere le autorizzazioni necessarie al ruolo di servizio che passi all'API. StartRun Senza queste autorizzazioni, le attività del flusso di lavoro falliranno con errori. AccessDeniedException UnauthorizedException

Se il flusso di lavoro non riesce a causa di errori di autorizzazione, controlla CloudWatch i log relativi all'esecuzione del flusso di lavoro. I messaggi di errore più comuni includono AccessDeniedException: You are not authorized to perform: action on the resource (al ruolo di servizio manca l'autorizzazione IAM richiesta) o UnrecognizedClientException: The security token included in the request is invalid (la policy di attendibilità del ruolo di servizio potrebbe non essere configurata correttamente o il ruolo a cui è stato passato l'ARN non StartRun è corretto).

Autorizzazioni di servizio comuni

Gli esempi seguenti mostrano le autorizzazioni IAM per i AWS servizi di uso comune nei flussi di lavoro in modalità VPC. Aggiungi queste autorizzazioni alla tua politica sui ruoli di servizio in base ai servizi a cui accede il tuo flusso di lavoro.

{
  "Effect": "Allow",
  "Action": [
    "athena:StartQueryExecution",
    "athena:GetQueryExecution",
    "athena:GetQueryResults",
    "athena:StopQueryExecution"
  ],
  "Resource": "arn:aws:athena:region:account-id:workgroup/workgroup-name"
}

{
  "Effect": "Allow",
  "Action": [
    "glue:GetDatabase",
    "glue:GetTable",
    "glue:GetPartitions",
    "glue:CreateTable",
    "glue:UpdateTable"
  ],
  "Resource": [
    "arn:aws:glue:region:account-id:catalog",
    "arn:aws:glue:region:account-id:database/database-name",
    "arn:aws:glue:region:account-id:table/database-name/*"
  ]
}

{
  "Effect": "Allow",
  "Action": [
    "dynamodb:GetItem",
    "dynamodb:PutItem",
    "dynamodb:Query",
    "dynamodb:Scan"
  ],
  "Resource": "arn:aws:dynamodb:region:account-id:table/table-name"
}

{
  "Effect": "Allow",
  "Action": [
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:region:account-id:bucket/bucket-name/table/table-id"
}

Test della connettività VPC

Prima di eseguire i flussi di lavoro di produzione, verificate che la configurazione del VPC consenta la connettività ai servizi esterni richiesti.

Crea un flusso di lavoro di test

Crea un flusso di lavoro semplice che verifichi la connettività al tuo servizio esterno. Ad esempio, crea un flusso di lavoro che tenti una connessione TCP a un endpoint di servizio di destinazione.

Esegui il test

aws omics start-run \
  --workflow-id test-workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket-name/test-outputs/ \
  --networking-mode VPC \
  --configuration-name configuration-name \
  --parameters file://test-parameters.json

Verificare i risultati

Controlla l'output del flusso di lavoro per confermare la corretta connettività:

{
  "connectivity_test.result": "Testing connection to external service...\nSUCCESS: Connection successful!\nTest completed"
}

Se il test fallisce, verifica quanto segue:

Esempi

Accesso ai dati NCBI con l'autenticazione API

Questo esempio dimostra come accedere ai dati NCBI utilizzando l'API NCBI Datasets con autenticazione.

Per ottenere la tua chiave API NCBI, consulta la documentazione delle chiavi API NCBI. https://www.ncbi.nlm.nih.gov/datasets/docs/v2/api/api-keys/

Esempio di definizione del flusso di lavoro:

version 1.0
#WORKFLOW DEFINITION

# Meant to be used as integration test for public internet access via VPC tunnel
workflow TestFlow {
    input {
        String ncbi_api_url = "https://api.ncbi.nlm.nih.gov/datasets/v2/gene/accession/NM_021803.4?api_key=<YOUR_API_KEY>"
    }

    call DataProcessTask{
        input:
            ncbi_api_url = ncbi_api_url,
    }

    output {
        File output_file = DataProcessTask.output_file
    }

}

#Task Definitions
task DataProcessTask {
    input {
        String ncbi_api_url
    }

    command <<<
        set -eu
        # Download file from NCBI Datasets API with API key
        curl -fsSL "~{ncbi_api_url}" -o gene_data.json

        # Add data processing task here
        cat gene_data.json > processed_data.json

        # Echo the content to output file
        cat processed_data.json > outfile.txt
    >>>

    output {
        File output_file = "outfile.txt"
    }
}

Punti chiave:

Per ulteriori informazioni sulle chiavi API NCBI e sui limiti di velocità, consulta la documentazione dell'API NCBI Datasets.

Best practice