Criação dos endpoints VPC de serviço necessários em uma Amazon VPC com roteamento privado - Amazon Managed Workflows for Apache Airflow
Definição de preçoRede privada e roteamento privadoVPCEndpoints (obrigatórios)Anexando os endpoints necessários VPC(Opcional) Habilite endereços IP privados para seu endpoint de interface Amazon S3 VPC

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criação dos endpoints VPC de serviço necessários em uma Amazon VPC com roteamento privado

Uma VPC rede Amazon existente sem acesso à Internet precisa de endpoints de VPC serviço adicionais (AWS PrivateLink) para usar o Apache Airflow nos Amazon Managed Workflows for Apache Airflow. Esta página descreve os VPC endpoints necessários para os AWS serviços usados pela AmazonMWAA, os VPC endpoints necessários para o Apache Airflow e como criar e conectar os VPC endpoints a uma Amazon existente com roteamento privado. VPC

Definição de preço

Rede privada e roteamento privado

Esta imagem mostra a arquitetura de um MWAA ambiente Amazon com um servidor web privado.

O modo de acesso à rede privada limita o acesso à interface do usuário do Apache Airflow aos usuários da Amazon VPC que receberam acesso à IAMpolítica do seu ambiente.

Ao criar um ambiente com acesso privado ao servidor web, você deve empacotar todas as suas dependências em um arquivo wheel do Python (.whl) e, em seguida, referenciar .whl em seu requirements.txt. Para obter instruções sobre como empacotar e instalar suas dependências usando o wheel, consulte Gerenciando dependências usando o Python wheel.

A imagem a seguir mostra onde encontrar a opção de rede privada no MWAA console da Amazon.

Esta imagem mostra onde encontrar a opção de rede privada no MWAA console da Amazon.

  • Roteamento privado. Uma Amazon VPC sem acesso à Internet limita o tráfego de rede dentro doVPC. Esta página pressupõe que sua Amazon VPC não tenha acesso à Internet e exija VPC endpoints para cada AWS serviço usado por seu ambiente e VPC endpoints para Apache Airflow na mesma região AWS e Amazon que seu ambiente Amazon. VPC MWAA

VPCEndpoints (obrigatórios)

A seção a seguir mostra os VPC endpoints necessários para uma Amazon VPC sem acesso à Internet. Ele lista os VPC endpoints de cada AWS serviço usado pela AmazonMWAA, incluindo os VPC endpoints necessários para o Apache Airflow. 

com.amazonaws.YOUR_REGION.s3
com.amazonaws.YOUR_REGION.monitoring
com.amazonaws.YOUR_REGION.logs
com.amazonaws.YOUR_REGION.sqs
com.amazonaws.YOUR_REGION.kms
nota

Ao usar o Transit Gateway ou qualquer outro roteamento que não vá diretamente para os AWS API endpoints, recomendamos que você adicione AWS PrivateLink às suas sub-redes MWAA privadas da Amazon os seguintes serviços:

  • Amazon S3

  • Amazon SQS

  • CloudWatch Registros

  • CloudWatch métricas

  • AWS KMS (se aplicável)

Isso garante que seu MWAA ambiente Amazon possa se comunicar com segurança e eficiência com esses serviços sem rotear o tráfego pela Internet pública, melhorando assim a segurança e o desempenho.

Anexando os endpoints necessários VPC

Esta seção descreve as etapas para conectar os VPC endpoints necessários para uma Amazon VPC com roteamento privado.

VPCendpoints necessários para serviços AWS

A seção a seguir mostra as etapas para conectar os VPC endpoints dos AWS serviços usados por um ambiente a uma Amazon VPC existente.

Para anexar VPC endpoints às suas sub-redes privadas

  1. Abra a página Endpoints no VPC console da Amazon.

  2. Use o seletor de AWS região para selecionar sua região.

  3. Criar o endpoint para o Amazon S3:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.s3, digite: e pressione Enter no teclado.

    3. Recomendamos escolher o endpoint de serviço listado para o tipo de Gateway.

      Por exemplo, com.amazonaws.us-west-2.s3 amazon Gateway

    4. Escolha a Amazon do seu ambiente VPC em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que essa privacidade DNS esteja ativada selecionando Habilitar DNS nome.

    6. Escolha o (s) grupo (s) VPC de segurança da Amazon do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  4. Crie o endpoint para CloudWatch Logs:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.logs, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon do seu ambiente VPC em VPC.

    5. Verifique se suas duas sub-redes privadas em zonas de disponibilidade diferentes estão selecionadas e se o DNSnome Habilitar está ativado.

    6. Escolha o (s) grupo (s) VPC de segurança da Amazon do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  5. Crie o endpoint para CloudWatch monitoramento:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.monitoring, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon do seu ambiente VPC em VPC.

    5. Verifique se suas duas sub-redes privadas em zonas de disponibilidade diferentes estão selecionadas e se o DNSnome Habilitar está ativado.

    6. Escolha o (s) grupo (s) VPC de segurança da Amazon do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  6. Crie o endpoint para a AmazonSQS:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.sqs, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon do seu ambiente VPC em VPC.

    5. Verifique se suas duas sub-redes privadas em zonas de disponibilidade diferentes estão selecionadas e se o DNSnome Habilitar está ativado.

    6. Escolha o (s) grupo (s) VPC de segurança da Amazon do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  7. Crie o endpoint para AWS KMS:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.kms, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon do seu ambiente VPC em VPC.

    5. Verifique se suas duas sub-redes privadas em zonas de disponibilidade diferentes estão selecionadas e se o DNSnome Habilitar está ativado.

    6. Escolha o (s) grupo (s) VPC de segurança da Amazon do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

VPCendpoints necessários para o Apache Airflow

A seção a seguir mostra as etapas para conectar os VPC endpoints do Apache Airflow a uma Amazon existente. VPC

Para anexar VPC endpoints às suas sub-redes privadas

  1. Abra a página Endpoints no VPC console da Amazon.

  2. Use o seletor de AWS região para selecionar sua região.

  3. Crie o endpoint para o Apache Airflow: API

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.airflow.api, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon do seu ambiente VPC em VPC.

    5. Verifique se suas duas sub-redes privadas em zonas de disponibilidade diferentes estão selecionadas e se o DNSnome Habilitar está ativado.

    6. Escolha o (s) grupo (s) VPC de segurança da Amazon do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  4. Crie o primeiro endpoint para o ambiente do Apache Airflow:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.airflow.env, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon do seu ambiente VPC em VPC.

    5. Verifique se suas duas sub-redes privadas em zonas de disponibilidade diferentes estão selecionadas e se o DNSnome Habilitar está ativado.

    6. Escolha o (s) grupo (s) VPC de segurança da Amazon do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  5. Crie o segundo endpoint para as operações do Apache Airflow:

    1. Escolha Criar Endpoint.

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.airflow.ops, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon do seu ambiente VPC em VPC.

    5. Verifique se suas duas sub-redes privadas em zonas de disponibilidade diferentes estão selecionadas e se o DNSnome Habilitar está ativado.

    6. Escolha o (s) grupo (s) VPC de segurança da Amazon do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

(Opcional) Habilite endereços IP privados para seu endpoint de interface Amazon S3 VPC

Os endpoints do Amazon S3 Interface não oferecem suporte para uso privado. DNS As solicitações do endpoint S3 ainda são resolvidas para um endereço IP público. Para transformar o endereço do S3 em um endereço IP privado, você precisa adicionar uma zona hospedada privada no Route 53 para o endpoint regional do S3.

Como usar Route 53

Esta seção descreve as etapas para habilitar endereços IP privados para um endpoint da interface S3 usando o Route 53.

  1. Crie uma zona hospedada privada para seu endpoint de VPC interface Amazon S3 (como s3.eu-west-1.amazonaws.com) e associe-a à sua Amazon. VPC

  2. Crie ALIAS um registro A para seu endpoint de VPC interface Amazon S3 (como s3.eu-west-1.amazonaws.com) que resolva para o nome do seu VPC endpoint de interface. DNS

  3. Crie ALIAS um registro curinga A para seu endpoint de interface do Amazon S3 (como, *. s3.eu-west-1.amazonaws.com) que corresponda ao VPC nome do endpoint da interface. DNS

VPCscom personalizado DNS

Se sua Amazon VPC usa DNS roteamento personalizado, você precisa fazer as alterações em seu DNS resolvedor (não no Route 53, normalmente uma EC2 instância executando um DNS servidor) criando um CNAME registro. Por exemplo:

Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value:  *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com