Acceso a Internet para VPC-connected flujos de trabajo

Cuando conectas una AWS HealthOmics ejecución a una VPC, la ejecución solo puede acceder a los recursos disponibles en esa VPC. Para que tu ejecución tenga acceso a la Internet pública o a AWS servicios fuera de la VPC, debes configurar tu VPC con los recursos de red adecuados.

En este tema se describe cómo configurar la VPC para que proporcione acceso a Internet y una conectividad eficiente a AWS los servicios para sus ejecuciones. VPC-connected Para obtener información sobre cómo conectar las ejecuciones a una VPC, consulte. Conexión de HealthOmics flujos de trabajo a una VPC

Configurar una VPC con acceso a Internet

Para dar acceso a Internet a tus VPC-connected runs, crea una VPC con subredes privadas que dirijan el tráfico saliente a través de una puerta de enlace NAT.

Esta configuración proporciona:

Regiones y zonas de disponibilidad admitidas

HealthOmics Workflows funciona en las siguientes regiones y zonas de disponibilidad. Al crear la VPC, asegúrese de que las subredes estén en una o más de estas zonas de disponibilidad.

Al crear la configuración de la HealthOmics VPC, especifique las subredes privadas. Las ejecuciones utilizan la puerta de enlace NAT de la subred pública para acceder a Internet.

Puntos finales de VPC para AWS servicios

Puede configurar los puntos de enlace de la VPC para permitir que los usuarios accedan a los AWS servicios sin tener que atravesar la Internet pública. Esto mejora la seguridad y puede reducir los costos de transferencia de datos.

En la siguiente tabla se enumeran los puntos de enlace de VPC que se utilizan con frecuencia para las ejecuciones: HealthOmics

Encontrará la lista completa de los servicios a los que puede acceder a través de AWS PrivateLink terminales en los AWS servicios que se integran con. AWS PrivateLink Para obtener instrucciones detalladas sobre la configuración de los terminales, consulte Acceder a AWS los servicios AWS PrivateLink en la AWS PrivateLink Guía.

Requisitos de NAT Gateway

Para carreras que requieren acceso público a Internet:

Configuración del grupo de seguridad

Configura tus grupos de seguridad para permitir que el tráfico saliente llegue a los destinos a los que tus usuarios necesitan acceder:

El siguiente ejemplo muestra una regla de grupo de seguridad para el acceso público a Internet:

Configuración de la tabla de rutas

Asegúrese de que sus subredes privadas tengan entradas en la tabla de rutas que dirijan el tráfico de Internet a una puerta de enlace NAT:

Para acceder a los recursos locales, configure las rutas a una puerta de enlace o puerta de enlace privada virtual.

Permisos de IAM para AWS servicios

Cuando tus tareas de flujo de trabajo accedan a AWS servicios como Amazon Athena, AWS Glue o Amazon DynamoDB en modo de red de VPC, debes añadir los permisos necesarios al rol de servicio que transfieres a la API. StartRun Sin estos permisos, las tareas del flujo de trabajo fallarán o generarán errores. AccessDeniedException UnauthorizedException

Si su flujo de trabajo falla debido a errores de permisos, consulte los CloudWatch registros de registro de la ejecución del flujo de trabajo. Entre los mensajes de error más comunes se incluyen los siguientes: AccessDeniedException: You are not authorized to perform: action on the resource (al rol de servicio le falta el permiso de IAM necesario) o UnrecognizedClientException: The security token included in the request is invalid (la política de confianza del rol de servicio puede estar mal configurada o el ARN del rol al que se ha transferido el ARN StartRun es incorrecto).

Permisos de servicio comunes

Los siguientes ejemplos muestran los permisos de IAM para los AWS servicios de uso común en los flujos de trabajo en modo VPC. Agregue estos permisos a su política de roles de servicio en función de los servicios a los que acceda su flujo de trabajo.

{
  "Effect": "Allow",
  "Action": [
    "athena:StartQueryExecution",
    "athena:GetQueryExecution",
    "athena:GetQueryResults",
    "athena:StopQueryExecution"
  ],
  "Resource": "arn:aws:athena:region:account-id:workgroup/workgroup-name"
}

{
  "Effect": "Allow",
  "Action": [
    "glue:GetDatabase",
    "glue:GetTable",
    "glue:GetPartitions",
    "glue:CreateTable",
    "glue:UpdateTable"
  ],
  "Resource": [
    "arn:aws:glue:region:account-id:catalog",
    "arn:aws:glue:region:account-id:database/database-name",
    "arn:aws:glue:region:account-id:table/database-name/*"
  ]
}

{
  "Effect": "Allow",
  "Action": [
    "dynamodb:GetItem",
    "dynamodb:PutItem",
    "dynamodb:Query",
    "dynamodb:Scan"
  ],
  "Resource": "arn:aws:dynamodb:region:account-id:table/table-name"
}

{
  "Effect": "Allow",
  "Action": [
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:region:account-id:bucket/bucket-name/table/table-id"
}

Probar la conectividad de la VPC

Antes de ejecutar los flujos de trabajo de producción, compruebe que la configuración de la VPC permite la conectividad con los servicios externos necesarios.

Cree un flujo de trabajo de prueba

Cree un flujo de trabajo sencillo que pruebe la conectividad con su servicio externo. Por ejemplo, cree un flujo de trabajo que intente establecer una conexión TCP a un punto final del servicio de destino.

Ejecute la prueba

aws omics start-run \
  --workflow-id test-workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket-name/test-outputs/ \
  --networking-mode VPC \
  --configuration-name configuration-name \
  --parameters file://test-parameters.json

Verificar los resultados

Compruebe el resultado del flujo de trabajo para confirmar que la conectividad se ha realizado correctamente:

{
  "connectivity_test.result": "Testing connection to external service...\nSUCCESS: Connection successful!\nTest completed"
}

Si la prueba falla, compruebe lo siguiente:

Ejemplos

Acceso a los datos del NCBI con la autenticación mediante API

En este ejemplo se muestra cómo acceder a los datos del NCBI mediante la API de conjuntos de datos del NCBI con autenticación.

Para obtener tu clave de API de NCBI, consulta la documentación sobre las claves de API de NCBI.

Ejemplo de definición de flujo de trabajo:

version 1.0
#WORKFLOW DEFINITION

# Meant to be used as integration test for public internet access via VPC tunnel
workflow TestFlow {
    input {
        String ncbi_api_url = "https://api.ncbi.nlm.nih.gov/datasets/v2/gene/accession/NM_021803.4?api_key=<YOUR_API_KEY>"
    }

    call DataProcessTask{
        input:
            ncbi_api_url = ncbi_api_url,
    }

    output {
        File output_file = DataProcessTask.output_file
    }

}

#Task Definitions
task DataProcessTask {
    input {
        String ncbi_api_url
    }

    command <<<
        set -eu
        # Download file from NCBI Datasets API with API key
        curl -fsSL "~{ncbi_api_url}" -o gene_data.json

        # Add data processing task here
        cat gene_data.json > processed_data.json

        # Echo the content to output file
        cat processed_data.json > outfile.txt
    >>>

    output {
        File output_file = "outfile.txt"
    }
}

Puntos clave:

Para obtener más información sobre las claves de la API del NCBI y los límites de velocidad, consulte la documentación de la API de conjuntos de datos del NCBI.

Prácticas recomendadas