Acesso à Internet para VPC-connected fluxos de trabalho

Quando você conecta uma AWS HealthOmics execução a uma VPC, a execução só pode acessar os recursos disponíveis dentro dessa VPC. Para dar à sua execução acesso à Internet pública ou aos AWS serviços fora da VPC, você deve configurar sua VPC com os recursos de rede apropriados.

Este tópico descreve como configurar sua VPC para fornecer acesso à Internet e conectividade eficiente aos AWS serviços para suas VPC-connected execuções. Para obter informações sobre como conectar execuções a uma VPC, consulte. Conectando HealthOmics fluxos de trabalho a uma VPC

Configurando uma VPC com acesso à Internet

Para dar às suas VPC-connected execuções acesso à Internet, crie uma VPC com sub-redes privadas que roteiam o tráfego de saída por meio de um gateway NAT.

Essa configuração fornece:

Regiões e zonas de disponibilidade

HealthOmics Os fluxos de trabalho operam nas seguintes regiões e zonas de disponibilidade. Ao criar sua VPC, certifique-se de que suas sub-redes estejam em uma ou mais dessas zonas de disponibilidade.

Ao criar sua configuração de HealthOmics VPC, especifique as sub-redes privadas. As execuções usam o gateway NAT na sub-rede pública para acessar a Internet.

VPC endpoints para serviços AWS

Você pode configurar VPC endpoints para permitir que execuções acessem AWS serviços sem atravessar a Internet pública. Isso melhora a segurança e pode reduzir os custos de transferência de dados.

A tabela a seguir lista os endpoints VPC mais usados para execuções: HealthOmics

A lista completa de serviços que você pode acessar por meio de AWS PrivateLink endpoints pode ser encontrada em AWS serviços que se integram a. AWS PrivateLink Para obter instruções detalhadas de configuração do endpoint, consulte Acesse AWS os serviços AWS PrivateLink no AWS PrivateLink Guia.

Requisitos do NAT Gateway

Para corridas que exigem acesso público à Internet:

Configuração do security group

Configure seus grupos de segurança para permitir o tráfego de saída para os destinos que suas corridas precisam acessar:

O exemplo a seguir mostra uma regra de grupo de segurança para acesso público à Internet:

Configuração da tabela de rotas

Certifique-se de que suas sub-redes privadas tenham entradas na tabela de rotas que direcionem o tráfego vinculado à Internet para um gateway NAT:

Para acessar recursos locais, configure rotas para um gateway ou gateway privado virtual.

Permissões do IAM para AWS serviços

Quando suas tarefas de fluxo de trabalho acessam AWS serviços como Amazon Athena, AWS Glue ou Amazon DynamoDB no modo de rede VPC, você deve adicionar as permissões necessárias à função de serviço que você passa para a API. StartRun Sem essas permissões, suas tarefas de fluxo de trabalho falharão AccessDeniedException ou apresentarão UnauthorizedException erros.

Se seu fluxo de trabalho falhar com erros de permissão, verifique os CloudWatch registros de registros da execução do fluxo de trabalho. As mensagens de erro comuns incluem AccessDeniedException: You are not authorized to perform: action on the resource (a função de serviço não tem a permissão necessária do IAM) ou UnrecognizedClientException: The security token included in the request is invalid (a política de confiança da função de serviço pode estar configurada incorretamente ou o ARN da função passado StartRun está incorreto).

Permissões de serviço comuns

Os exemplos a seguir mostram as permissões do IAM para AWS serviços comumente usados nos fluxos de trabalho do modo VPC. Adicione essas permissões à sua política de função de serviço com base nos serviços que seu fluxo de trabalho acessa.

{
  "Effect": "Allow",
  "Action": [
    "athena:StartQueryExecution",
    "athena:GetQueryExecution",
    "athena:GetQueryResults",
    "athena:StopQueryExecution"
  ],
  "Resource": "arn:aws:athena:region:account-id:workgroup/workgroup-name"
}

{
  "Effect": "Allow",
  "Action": [
    "glue:GetDatabase",
    "glue:GetTable",
    "glue:GetPartitions",
    "glue:CreateTable",
    "glue:UpdateTable"
  ],
  "Resource": [
    "arn:aws:glue:region:account-id:catalog",
    "arn:aws:glue:region:account-id:database/database-name",
    "arn:aws:glue:region:account-id:table/database-name/*"
  ]
}

{
  "Effect": "Allow",
  "Action": [
    "dynamodb:GetItem",
    "dynamodb:PutItem",
    "dynamodb:Query",
    "dynamodb:Scan"
  ],
  "Resource": "arn:aws:dynamodb:region:account-id:table/table-name"
}

{
  "Effect": "Allow",
  "Action": [
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:region:account-id:bucket/bucket-name/table/table-id"
}

Testando a conectividade VPC

Antes de executar fluxos de trabalho de produção, valide se sua configuração de VPC permite conectividade com os serviços externos necessários.

Crie um fluxo de trabalho de teste

Crie um fluxo de trabalho simples que teste a conectividade com seu serviço externo. Por exemplo, crie um fluxo de trabalho que tente uma conexão TCP com um endpoint de serviço de destino.

Execute o teste

aws omics start-run \
  --workflow-id test-workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket-name/test-outputs/ \
  --networking-mode VPC \
  --configuration-name configuration-name \
  --parameters file://test-parameters.json

Verificar os resultados

Verifique a saída do fluxo de trabalho para confirmar a conectividade bem-sucedida:

{
  "connectivity_test.result": "Testing connection to external service...\nSUCCESS: Connection successful!\nTest completed"
}

Se o teste falhar, verifique o seguinte:

Exemplos

Acessando dados do NCBI com autenticação de API

Este exemplo demonstra como acessar dados do NCBI usando a API de conjuntos de dados do NCBI com autenticação.

Para obter sua chave de API NCBI, visite a documentação de chaves de API NCBI.

Exemplo de definição de fluxo de trabalho:

version 1.0
#WORKFLOW DEFINITION

# Meant to be used as integration test for public internet access via VPC tunnel
workflow TestFlow {
    input {
        String ncbi_api_url = "https://api.ncbi.nlm.nih.gov/datasets/v2/gene/accession/NM_021803.4?api_key=<YOUR_API_KEY>"
    }

    call DataProcessTask{
        input:
            ncbi_api_url = ncbi_api_url,
    }

    output {
        File output_file = DataProcessTask.output_file
    }

}

#Task Definitions
task DataProcessTask {
    input {
        String ncbi_api_url
    }

    command <<<
        set -eu
        # Download file from NCBI Datasets API with API key
        curl -fsSL "~{ncbi_api_url}" -o gene_data.json

        # Add data processing task here
        cat gene_data.json > processed_data.json

        # Echo the content to output file
        cat processed_data.json > outfile.txt
    >>>

    output {
        File output_file = "outfile.txt"
    }
}

Pontos-chave:

Para obter mais informações sobre chaves e limites de taxa da API NCBI, consulte a documentação da API NCBI Datasets.

Práticas recomendadas