Como criar endpoints de serviço de VPC necessários em um Amazon VPC com roteamento privado - Amazon Managed Workflows for Apache Airflow
Definição de preçoRede privada e roteamento privado(Obrigatório) Endpoints da VPCComo conectar os endpoints da VPC necessários(Opcional) Habilite endereços IP privados para seu endpoint de interface VPC do Amazon S3

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como criar endpoints de serviço de VPC necessários em um Amazon VPC com roteamento privado

Uma rede Amazon VPC existente sem acesso à Internet precisa de endpoints de serviço VPC adicionais (AWS PrivateLink) para usar o Apache Airflow nos fluxos de trabalho gerenciados da Amazon para o Apache Airflow. Esta página descreve os endpoints de VPC necessários para os AWS serviços usados pelo Amazon MWAA, os endpoints de VPC necessários para o Apache Airflow e como criar e conectar os endpoints de VPC a um Amazon VPC existente com roteamento privado.

Definição de preço

Rede privada e roteamento privado

Esta imagem mostra a arquitetura de um ambiente Amazon MWAA com um servidor Web privado.

O modo de acesso à rede privada limita o acesso à interface do usuário do Apache Airflow aos usuários da Amazon VPC que receberam acesso à política do IAM do seu ambiente.

Ao criar um ambiente com acesso privado ao servidor web, você deve empacotar todas as suas dependências em um arquivo wheel do Python (.whl) e, em seguida, referenciar .whl em seu requirements.txt. Para obter instruções sobre como empacotar e instalar suas dependências usando o wheel, consulte Gerenciando dependências usando o Python wheel.

A imagem a seguir mostra onde encontrar a opção Rede privada no console do Amazon MWAA.

Esta imagem mostra onde encontrar a opção de Rede privada no console do Amazon MWAA.

  • Roteamento privado. Um Amazon VPC sem acesso à Internet limita o tráfego de rede dentro da VPC. Esta página pressupõe que sua Amazon VPC não tenha acesso à Internet e exija endpoints VPC para AWS cada serviço usado por seu ambiente e endpoints VPC para Apache Airflow na mesma região e AWS Amazon VPC que seu ambiente Amazon MWAA.

(Obrigatório) Endpoints da VPC

A seção a seguir mostra os endpoint da VPC necessários para um Amazon VPC sem acesso à Internet. Ele lista os endpoints de VPC para cada AWS serviço usado pelo Amazon MWAA, incluindo os endpoints de VPC necessários para o Apache Airflow. 

com.amazonaws.YOUR_REGION.s3
com.amazonaws.YOUR_REGION.monitoring
com.amazonaws.YOUR_REGION.ecr.dkr
com.amazonaws.YOUR_REGION.ecr.api
com.amazonaws.YOUR_REGION.logs
com.amazonaws.YOUR_REGION.sqs
com.amazonaws.YOUR_REGION.kms
com.amazonaws.YOUR_REGION.airflow.api
com.amazonaws.YOUR_REGION.airflow.env
com.amazonaws.YOUR_REGION.airflow.ops

Como conectar os endpoints da VPC necessários

Esta seção descreve as etapas para conectar os endpoints da VPC necessários para um Amazon VPC com roteamento privado.

VPC endpoints necessários para serviços AWS

A seção a seguir mostra as etapas para conectar os endpoints de VPC para os AWS serviços usados por um ambiente a uma Amazon VPC existente.

Para anexar endpoints da VPC às suas sub-redes privadas

  1. Abra a página Endpoints no console da Amazon VPC.

  2. Use o seletor de AWS região para selecionar sua região.

  3. Criar o endpoint para o Amazon S3:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.s3, digite: e pressione Enter no teclado.

    3. Recomendamos escolher o endpoint de serviço listado para o tipo de Gateway.

      Por exemplo, com.amazonaws.us-west-2.s3 amazon Gateway.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que esse DNS privado esteja ativado selecionando Habilitar nome DNS.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  4. Crie o primeiro endpoint para o Amazon ECR:

    1. Escolha Criar endpoint .

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.ecr.dkr, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  5. Crie o segundo endpoint para o Amazon ECR:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.ecr.api, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  6. Crie o endpoint para CloudWatch Logs:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.logs, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  7. Crie o endpoint para CloudWatch monitoramento:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.monitoring, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  8. Crie o endpoint para Amazon SQS:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.sqs, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  9. Crie o endpoint para AWS KMS:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.kms, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

Endpoints da VPC necessários para o Apache Airflow

A seção a seguir mostra as etapas para conectar os endpoints da VPC do Apache Airflow a um Amazon VPC existente.

Para anexar endpoints da VPC às suas sub-redes privadas

  1. Abra a página Endpoints no console da Amazon VPC.

  2. Use o seletor de AWS região para selecionar sua região.

  3. Crie o endpoint para a API do Apache Airflow:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.airflow.api, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  4. Crie o primeiro endpoint para o ambiente do Apache Airflow:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.airflow.env, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  5. Crie o segundo endpoint para as operações do Apache Airflow:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.airflow.ops, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha o(s) grupo(s) de segurança do Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

(Opcional) Habilite endereços IP privados para seu endpoint de interface VPC do Amazon S3

Os endpoints da interface Amazon S3 não oferecem suporte a DNS privado. As solicitações do endpoint S3 ainda são resolvidas para um endereço IP público. Para transformar o endereço do S3 em um endereço IP privado, você precisa adicionar uma zona hospedada privada no Route 53 para o endpoint regional do S3.

Como usar Route 53

Esta seção descreve as etapas para habilitar endereços IP privados para um endpoint da interface S3 usando o Route 53.

  1. Crie uma zona hospedada privada para seu endpoint de interface VPC do Amazon S3 (como s3.eu-west-1.amazonaws.com) e associe-a ao seu Amazon VPC.

  2. Crie um registro ALIAS A para seu endpoint da interface VPC do Amazon S3 (como s3.eu-west-1.amazonaws.com) que resolva o nome DNS do seu VPC Interface Endpoint.

  3. Crie um registro curinga ALIAS A para seu endpoint de interface Amazon S3 (como *.s3.eu-west-1.amazonaws.com) que é resolvido para o nome DNS do VPC Interface Endpoint.

VPCs com DNS personalizado

Se seu Amazon VPC usa roteamento de DNS personalizado, você precisa fazer as alterações em seu resolvedor de DNS (não no Route 53, normalmente uma instância EC2 executando um servidor DNS) ao criar um registro CNAME. Por exemplo: .

Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value:  *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com