Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Un VPC réseau Amazon existant sans accès à Internet a besoin de points de terminaison de VPC service supplémentaires (AWS PrivateLink) pour utiliser Apache Airflow sur Amazon Managed Workflows for Apache Airflow. Cette page décrit les VPC points de terminaison requis pour les AWS services utilisés par AmazonMWAA, les VPC points de terminaison requis pour Apache Airflow et comment créer et associer les VPC points de terminaison à un Amazon VPC existant avec un routage privé.
Table des matières
Tarification
Réseau privé et routage privé
Le mode d'accès au réseau privé limite l'accès à l'interface utilisateur d'Apache Airflow aux utilisateurs de votre Amazon VPC qui ont obtenu l'accès à la IAMpolitique de votre environnement.
Lorsque vous créez un environnement avec accès à un serveur Web privé, vous devez empaqueter toutes vos dépendances dans une archive Python Wheel (.whl
), puis y faire référence .whl
dans votrerequirements.txt
. Pour obtenir des instructions sur l'empaquetage et l'installation de vos dépendances à l'aide de wheel, consultez la section Gestion des dépendances à l'aide de Python Wheel.
L'image suivante montre où trouver l'option Réseau privé sur la MWAA console Amazon.
-
Routage privé. Un Amazon VPC sans accès à Internet limite le trafic réseau au sein duVPC. Cette page part du principe que votre Amazon VPC n'a pas accès à Internet et nécessite des VPC points de terminaison pour chaque AWS service utilisé par votre environnement, ainsi que des VPC points de terminaison pour Apache Airflow dans la même région AWS et Amazon que VPC votre environnement Amazon. MWAA
Points de VPC terminaison (obligatoires)
La section suivante indique les VPC points de terminaison requis pour un Amazon VPC sans accès à Internet. Il répertorie les VPC points de terminaison de chaque AWS service utilisé par AmazonMWAA, y compris les VPC points de terminaison nécessaires pour Apache Airflow.
com.amazonaws.
YOUR_REGION
.s3 com.amazonaws.YOUR_REGION
.monitoring com.amazonaws.YOUR_REGION
.logs com.amazonaws.YOUR_REGION
.sqs com.amazonaws.YOUR_REGION
.kms
Note
Lorsque vous utilisez Transit Gateway ou tout autre routage qui ne mène pas directement aux AWS API points de terminaison, nous vous recommandons d'ajouter AWS PrivateLink à vos sous-réseaux MWAA privés Amazon les services suivants :
-
Amazon S3
-
Amazon SQS
-
CloudWatch Journaux
-
CloudWatch métriques
-
AWS KMS (le cas échéant)
Cela garantit que votre MWAA environnement Amazon peut communiquer de manière sûre et efficace avec ces services sans acheminer le trafic via l'Internet public, améliorant ainsi la sécurité et les performances.
Fixation des points de VPC terminaison requis
Cette section décrit les étapes à suivre pour associer les VPC points de terminaison requis pour un Amazon VPC doté d'un routage privé.
VPCpoints de terminaison requis pour les services AWS
La section suivante décrit les étapes à suivre pour associer les VPC points de terminaison des AWS services utilisés par un environnement à un Amazon VPC existant.
Pour associer des VPC points de terminaison à vos sous-réseaux privés
-
Ouvrez la page Endpoints
sur la VPC console Amazon. -
Utilisez le sélecteur de AWS région pour sélectionner votre région.
-
Créez le point de terminaison pour Amazon S3 :
-
Choisissez Créer un point de terminaison.
-
Dans le champ de texte Filtrer par attributs ou rechercher par mot clé, tapez :
.s3
, puis appuyez sur la touche Entrée de votre clavier. -
Nous vous recommandons de choisir le point de terminaison de service répertorié pour le type de passerelle.
Par exemple,
com.amazonaws.us-west-2.s3 amazon Gateway
-
Choisissez Amazon VPC dans votre environnement VPC.
-
Assurez-vous que vos deux sous-réseaux privés situés dans des zones de disponibilité différentes sont sélectionnés et que ce sous-réseau privé DNS est activé en sélectionnant Activer le DNS nom.
-
Choisissez le ou les groupes VPC de sécurité Amazon de votre environnement.
-
Choisissez Accès complet dans la politique.
-
Choisissez Créer un point de terminaison.
-
-
Créez le point de terminaison pour CloudWatch les journaux :
-
Choisissez Créer un point de terminaison.
-
Dans le champ de texte Filtrer par attributs ou rechercher par mot clé, tapez :
.logs
, puis appuyez sur la touche Entrée de votre clavier. -
Sélectionnez le point de terminaison du service.
-
Choisissez Amazon VPC dans votre environnement VPC.
-
Assurez-vous que vos deux sous-réseaux privés situés dans des zones de disponibilité différentes sont sélectionnés et que le DNSnom Enable est activé.
-
Choisissez le ou les groupes VPC de sécurité Amazon de votre environnement.
-
Choisissez Accès complet dans la politique.
-
Choisissez Créer un point de terminaison.
-
-
Créez le point de terminaison pour CloudWatch la surveillance :
-
Choisissez Créer un point de terminaison.
-
Dans le champ de texte Filtrer par attributs ou rechercher par mot clé, tapez :
.monitoring
, puis appuyez sur la touche Entrée de votre clavier. -
Sélectionnez le point de terminaison du service.
-
Choisissez Amazon VPC dans votre environnement VPC.
-
Assurez-vous que vos deux sous-réseaux privés situés dans des zones de disponibilité différentes sont sélectionnés et que le DNSnom Enable est activé.
-
Choisissez le ou les groupes VPC de sécurité Amazon de votre environnement.
-
Choisissez Accès complet dans la politique.
-
Choisissez Créer un point de terminaison.
-
-
Créez le point de terminaison pour Amazon SQS :
-
Choisissez Créer un point de terminaison.
-
Dans le champ de texte Filtrer par attributs ou rechercher par mot clé, tapez :
.sqs
, puis appuyez sur la touche Entrée de votre clavier. -
Sélectionnez le point de terminaison du service.
-
Choisissez Amazon VPC dans votre environnement VPC.
-
Assurez-vous que vos deux sous-réseaux privés situés dans des zones de disponibilité différentes sont sélectionnés et que le DNSnom Enable est activé.
-
Choisissez le ou les groupes VPC de sécurité Amazon de votre environnement.
-
Choisissez Accès complet dans la politique.
-
Choisissez Créer un point de terminaison.
-
-
Créez le point de terminaison pour AWS KMS :
-
Choisissez Créer un point de terminaison.
-
Dans le champ de texte Filtrer par attributs ou rechercher par mot clé, tapez :
.kms
, puis appuyez sur la touche Entrée de votre clavier. -
Sélectionnez le point de terminaison du service.
-
Choisissez Amazon VPC dans votre environnement VPC.
-
Assurez-vous que vos deux sous-réseaux privés situés dans des zones de disponibilité différentes sont sélectionnés et que le DNSnom Enable est activé.
-
Choisissez le ou les groupes VPC de sécurité Amazon de votre environnement.
-
Choisissez Accès complet dans la politique.
-
Choisissez Créer un point de terminaison.
-
VPCpoints de terminaison requis pour Apache Airflow
La section suivante décrit les étapes à suivre pour associer les VPC points de terminaison d'Apache Airflow à un Amazon existant. VPC
Pour associer des VPC points de terminaison à vos sous-réseaux privés
-
Ouvrez la page Endpoints
sur la VPC console Amazon. -
Utilisez le sélecteur de AWS région pour sélectionner votre région.
-
Créez le point de terminaison pour Apache Airflow API :
-
Choisissez Créer un point de terminaison.
-
Dans le champ de texte Filtrer par attributs ou rechercher par mot clé, tapez :
.airflow.api
, puis appuyez sur la touche Entrée de votre clavier. -
Sélectionnez le point de terminaison du service.
-
Choisissez Amazon VPC dans votre environnement VPC.
-
Assurez-vous que vos deux sous-réseaux privés situés dans des zones de disponibilité différentes sont sélectionnés et que le DNSnom Enable est activé.
-
Choisissez le ou les groupes VPC de sécurité Amazon de votre environnement.
-
Choisissez Accès complet dans la politique.
-
Choisissez Créer un point de terminaison.
-
-
Créez le premier point de terminaison pour l'environnement Apache Airflow :
-
Choisissez Créer un point de terminaison.
-
Dans le champ de texte Filtrer par attributs ou rechercher par mot clé, tapez :
.airflow.env
, puis appuyez sur la touche Entrée de votre clavier. -
Sélectionnez le point de terminaison du service.
-
Choisissez Amazon VPC dans votre environnement VPC.
-
Assurez-vous que vos deux sous-réseaux privés situés dans des zones de disponibilité différentes sont sélectionnés et que le DNSnom Enable est activé.
-
Choisissez le ou les groupes VPC de sécurité Amazon de votre environnement.
-
Choisissez Accès complet dans la politique.
-
Choisissez Créer un point de terminaison.
-
-
Créez le deuxième point de terminaison pour les opérations Apache Airflow :
-
Choisissez Créer un point de terminaison.
-
Dans le champ de texte Filtrer par attributs ou rechercher par mot clé, tapez :
.airflow.ops
, puis appuyez sur la touche Entrée de votre clavier. -
Sélectionnez le point de terminaison du service.
-
Choisissez Amazon VPC dans votre environnement VPC.
-
Assurez-vous que vos deux sous-réseaux privés situés dans des zones de disponibilité différentes sont sélectionnés et que le DNSnom Enable est activé.
-
Choisissez le ou les groupes VPC de sécurité Amazon de votre environnement.
-
Choisissez Accès complet dans la politique.
-
Choisissez Créer un point de terminaison.
-
(Facultatif) Activez les adresses IP privées pour le point de terminaison de votre VPC interface Amazon S3
Les points de terminaison de l'interface Amazon S3 ne prennent pas en charge le mode privéDNS. Les demandes du point de terminaison S3 sont toujours résolues vers une adresse IP publique. Pour transformer l'adresse S3 en adresse IP privée, vous devez ajouter une zone hébergée privée dans Route 53 pour le point de terminaison régional S3.
Utilisation de la Route 53
Cette section décrit les étapes à suivre pour activer les adresses IP privées pour un point de terminaison de l'interface S3 à l'aide de la Route 53.
-
Créez une zone hébergée privée pour le point de terminaison de votre VPC interface Amazon S3 (tel que s3.eu-west-1.amazonaws.com) et associez-la à votre AmazonVPC.
-
Créez ALIAS un enregistrement A pour votre point de terminaison d'VPCinterface Amazon S3 (tel que s3.eu-west-1.amazonaws.com) qui correspond au DNS nom de votre point de terminaison d'VPCinterface.
-
Créez ALIAS un enregistrement générique A pour votre point de terminaison d'interface Amazon S3 (tel que, *. s3.eu-west-1.amazonaws.com) qui renvoie au DNS nom du point de terminaison VPC d'interface.
VPCsavec personnalisation DNS
Si votre Amazon VPC utilise un DNS routage personnalisé, vous devez apporter les modifications dans votre DNS résolveur (et non dans Route 53, généralement une EC2 instance exécutant un DNS serveur) en créant un CNAME enregistrement. Par exemple :
Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value: *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com