Creazione degli endpoint del servizio VPC richiesti in un Amazon VPC con routing privato - Amazon Managed Workflows for Apache Airflow

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione degli endpoint del servizio VPC richiesti in un Amazon VPC con routing privato

Una rete Amazon VPC esistente senza accesso a Internet richiede endpoint di servizio VPC aggiuntivi (AWS PrivateLink) per utilizzare Apache Airflow su Amazon Managed Workflows for Apache Airflow. Questa pagina descrive gli endpoint VPC necessari per i AWS servizi utilizzati da Amazon MWAA, gli endpoint VPC richiesti per Apache Airflow e come creare e collegare gli endpoint VPC a un Amazon VPC esistente con routing privato.

Prezzi

Rete privata e routing privato

Questa immagine mostra l'architettura di un ambiente Amazon MWAA con un server Web privato.

La modalità di accesso alla rete privata limita l'accesso all'interfaccia utente di Apache Airflow agli utenti del tuo Amazon VPC a cui è stato concesso l'accesso alla policy IAM per il tuo ambiente.

Quando crei un ambiente con accesso privato al server web, devi impacchettare tutte le tue dipendenze in un archivio Python wheel .whl (), quindi fare riferimento a .whl nel tuo. requirements.txt Per istruzioni su come impacchettare e installare le dipendenze usando wheel, vedi Gestire le dipendenze usando Python wheel.

L'immagine seguente mostra dove trovare l'opzione Rete privata sulla console Amazon MWAA.

Questa immagine mostra dove trovare l'opzione Rete privata sulla console Amazon MWAA.
  • Routing privato. Un Amazon VPC senza accesso a Internet limita il traffico di rete all'interno del VPC. Questa pagina presuppone che Amazon VPC non disponga di accesso a Internet e richieda endpoint VPC per AWS ogni servizio utilizzato dal tuo ambiente e endpoint VPC per Apache Airflow nella stessa regione e AWS Amazon VPC dell'ambiente Amazon MWAA.

(Obbligatori) Endpoint VPC

La sezione seguente mostra gli endpoint VPC necessari per un Amazon VPC senza accesso a Internet. Elenca gli endpoint VPC per ogni AWS servizio utilizzato da Amazon MWAA, inclusi gli endpoint VPC necessari per Apache Airflow.

com.amazonaws.YOUR_REGION.s3 com.amazonaws.YOUR_REGION.monitoring com.amazonaws.YOUR_REGION.ecr.dkr com.amazonaws.YOUR_REGION.ecr.api com.amazonaws.YOUR_REGION.logs com.amazonaws.YOUR_REGION.sqs com.amazonaws.YOUR_REGION.kms com.amazonaws.YOUR_REGION.airflow.api com.amazonaws.YOUR_REGION.airflow.env com.amazonaws.YOUR_REGION.airflow.ops

Collegamento degli endpoint VPC richiesti

Questa sezione descrive i passaggi per collegare gli endpoint VPC richiesti per un Amazon VPC con routing privato.

Endpoint VPC necessari per i servizi AWS

La sezione seguente mostra i passaggi per collegare gli endpoint VPC per i AWS servizi utilizzati da un ambiente a un Amazon VPC esistente.

Per collegare gli endpoint VPC alle sottoreti private
  1. Apri la pagina Endpoints sulla console Amazon VPC.

  2. Usa il selettore AWS della regione per selezionare la tua regione.

  3. Crea l'endpoint per Amazon S3:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.s3, quindi premi Invio sulla tastiera.

    3. Ti consigliamo di scegliere l'endpoint di servizio elencato per il tipo di Gateway.

      Ad esempio, com.amazonaws.us-west-2.s3 amazon Gateway

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le tue due sottoreti private in zone di disponibilità diverse siano selezionate e che il DNS privato sia abilitato selezionando Abilita nome DNS.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

  4. Crea il primo endpoint per Amazon ECR:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.ecr.dkr, quindi premi Invio sulla tastiera.

    3. Seleziona l'endpoint del servizio.

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le due sottoreti private in zone di disponibilità diverse siano selezionate e che l'opzione Abilita nome DNS sia abilitata.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

  5. Crea il secondo endpoint per Amazon ECR:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.ecr.api, quindi premi Invio sulla tastiera.

    3. Seleziona l'endpoint del servizio.

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le due sottoreti private in zone di disponibilità diverse siano selezionate e che l'opzione Abilita nome DNS sia abilitata.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

  6. Crea l'endpoint per CloudWatch Logs:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.logs, quindi premi Invio sulla tastiera.

    3. Seleziona l'endpoint del servizio.

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le due sottoreti private in zone di disponibilità diverse siano selezionate e che l'opzione Abilita nome DNS sia abilitata.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

  7. Crea l'endpoint per il CloudWatch monitoraggio:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.monitoring, quindi premi Invio sulla tastiera.

    3. Seleziona l'endpoint del servizio.

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le due sottoreti private in zone di disponibilità diverse siano selezionate e che l'opzione Abilita nome DNS sia abilitata.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

  8. Crea l'endpoint per Amazon SQS:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.sqs, quindi premi Invio sulla tastiera.

    3. Seleziona l'endpoint del servizio.

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le due sottoreti private in zone di disponibilità diverse siano selezionate e che l'opzione Abilita nome DNS sia abilitata.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

  9. Crea l'endpoint per AWS KMS:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.kms, quindi premi Invio sulla tastiera.

    3. Seleziona l'endpoint del servizio.

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le due sottoreti private in zone di disponibilità diverse siano selezionate e che l'opzione Abilita nome DNS sia abilitata.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

Endpoint VPC richiesti per Apache Airflow

La sezione seguente mostra i passaggi per collegare gli endpoint VPC per Apache Airflow a un Amazon VPC esistente.

Per collegare gli endpoint VPC alle sottoreti private
  1. Apri la pagina Endpoints sulla console Amazon VPC.

  2. Usa il selettore AWS della regione per selezionare la tua regione.

  3. Crea l'endpoint per l'API Apache Airflow:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.airflow.api, quindi premi Invio sulla tastiera.

    3. Seleziona l'endpoint del servizio.

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le due sottoreti private in zone di disponibilità diverse siano selezionate e che l'opzione Abilita nome DNS sia abilitata.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

  4. Crea il primo endpoint per l'ambiente Apache Airflow:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.airflow.env, quindi premi Invio sulla tastiera.

    3. Seleziona l'endpoint del servizio.

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le due sottoreti private in zone di disponibilità diverse siano selezionate e che l'opzione Abilita nome DNS sia abilitata.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

  5. Crea il secondo endpoint per le operazioni di Apache Airflow:

    1. Scegliere Create Endpoint (Crea endpoint).

    2. Nel campo di testo Filtra per attributi o cerca per parola chiave, digita:.airflow.ops, quindi premi Invio sulla tastiera.

    3. Seleziona l'endpoint del servizio.

    4. Scegli Amazon VPC in VPC del tuo ambiente.

    5. Assicurati che le due sottoreti private in zone di disponibilità diverse siano selezionate e che l'opzione Abilita nome DNS sia abilitata.

    6. Scegli i gruppi di sicurezza Amazon VPC del tuo ambiente.

    7. Scegli Accesso completo in Policy.

    8. Seleziona Crea endpoint.

(Facoltativo) Abilita gli indirizzi IP privati per l'endpoint dell'interfaccia VPC Amazon S3

Gli endpoint dell'interfaccia Amazon S3 non supportano il DNS privato. Le richieste degli endpoint S3 vengono comunque risolte in un indirizzo IP pubblico. Per risolvere l'indirizzo S3 in un indirizzo IP privato, devi aggiungere una zona ospitata privata in Route 53 per l'endpoint regionale S3.

Usare Route 53

Questa sezione descrive i passaggi per abilitare gli indirizzi IP privati per un endpoint dell'interfaccia S3 utilizzando Route 53.

  1. Crea una zona ospitata privata per il tuo endpoint di interfaccia VPC Amazon S3 (ad esempio, s3.eu-west-1.amazonaws.com) e associala al tuo Amazon VPC.

  2. Crea un ALIAS Un record per il tuo endpoint di interfaccia VPC Amazon S3 (ad esempio, s3.eu-west-1.amazonaws.com) che si risolve nel nome DNS dell'endpoint dell'interfaccia VPC.

  3. Crea un ALIAS Un record wildcard per l'endpoint dell'interfaccia Amazon S3 (ad esempio*. s3.eu-west-1.amazonaws.com) che si risolve nel nome DNS dell'endpoint dell'interfaccia VPC.

VPC con DNS personalizzato

Se il tuo Amazon VPC utilizza un routing DNS personalizzato, devi apportare le modifiche nel tuo resolver DNS (non Route 53, in genere un'istanza EC2 che esegue un server DNS) creando un record CNAME. Per esempio:

Name: s3.us-west-2.amazonaws.com Type: CNAME Value: *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com