Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Modes d’accès Apache Airflow
La console Amazon Managed Workflows pour Apache Airflow contient des options intégrées permettant de configurer le routage privé, public ou public et privé vers le serveur Web Apache Airflow de votre environnement. Ce guide décrit les modes d'accès disponibles pour le serveur Web Apache Airflow dans votre environnement Amazon Managed Workflows pour Apache Airflow, ainsi que les ressources supplémentaires que vous devrez configurer dans votre Amazon VPC si vous choisissez l'option réseau privé.
Table des matières
Modes d’accès Apache Airflow
Vous pouvez choisir un routage privé, public ou à la fois public et privé pour votre serveur Web Apache Airflow. Pour activer le routage privé, choisissez Réseau privé. Cela limite l'accès des utilisateurs à un serveur Web Apache Airflow au sein d'un Amazon VPC. Pour activer le routage public, choisissez Réseau public. Cela permet aux utilisateurs d’accéder au serveur Web Apache Airflow via Internet. Pour activer le routage public et privé, choisissez Accès au réseau public et privé. Cela permet aux utilisateurs d'accéder au serveur Web Apache Airflow via Internet pendant que les travailleurs communiquent avec le serveur Web via un point de terminaison VPC privé.
Réseau public
Le schéma architectural suivant illustre un environnement Amazon MWAA avec un serveur Web public.
Le mode d'accès au réseau public permet aux utilisateurs autorisés à accéder à la politique IAM de votre environnement à l'interface utilisateur d'Apache Airflow via Internet.
Important
Si votre environnement utilise Apache Airflow version 3 ou ultérieure avec le mode d'accès au réseau public, les travailleurs doivent être en mesure d'accéder au serveur Web via Internet pour communiquer l'état de la tâche. Si les sous-réseaux hébergeant vos collaborateurs n'ont pas accès à Internet (par exemple, des sous-réseaux privés sans passerelle NAT), les tâches DAG échoueront. Pour résoudre ce problème, passez à la version 3.2.1 ou ultérieure d'Apache Airflow et passez en mode d'accès réseau public et privé, qui achemine les communications des collaborateurs via un point de terminaison VPC privé.
L'image suivante montre où se trouve l'option Réseau public sur la console Amazon MWAA.
réseau privé
Le schéma architectural suivant illustre un environnement Amazon MWAA avec un serveur Web privé.
Le mode d'accès au réseau privé limite l'accès à l'interface utilisateur d'Apache Airflow aux utilisateurs de votre Amazon VPC qui ont obtenu l'accès à la politique IAM de votre environnement.
Lorsque vous créez un environnement avec un accès privé à un serveur Web, vous devez empaqueter toutes vos dépendances dans une archive en forme de roue Python (.whl), puis y faire référence .whl dans votrerequirements.txt. Pour obtenir des instructions sur l'empaquetage et l'installation de vos dépendances à l'aide de wheel, reportez-vous à la section Gestion des dépendances à l'aide de Python Wheel.
L'image suivante montre où se trouve l'option Réseau privé sur la console Amazon MWAA.
Accès au réseau public et privé
Disponible pour Apache Airflow version 3.2.1 et versions ultérieures. Dans Apache Airflow version 3 et versions ultérieures, les travailleurs communiquent l'état de la tâche au serveur Web via l'API Task. Si votre Amazon VPC n'a pas accès à Internet, les collaborateurs ne peuvent pas accéder à un serveur Web public, ce qui entraîne l'échec des tâches DAG. Ce mode crée à la fois un équilibreur de charge réseau public pour l'accès du navigateur à l'interface utilisateur d'Apache Airflow et un point de terminaison VPC privé pour la communication entre le travailleur et le serveur Web, permettant ainsi aux travailleurs d'accéder au serveur Web sans accès à Internet. Reportez-vous aux schémas d'architecture du réseau public et du réseau privé ci-dessus pour chaque composant.
Note
Dans ce mode, l'accès du navigateur à l'interface utilisateur d'Apache Airflow passe par l'URL publique. Le point de terminaison VPC privé est utilisé par les travailleurs pour les communications internes et n'est pas destiné à l'accès par navigateur.
Vue d'ensemble des modes d'accès
Cette section décrit les points de terminaison VPC (AWS PrivateLink) créés dans votre Amazon VPC lorsque vous choisissez le mode d'accès au réseau public, au réseau privé ou au mode d'accès au réseau public et privé.
Mode d'accès au réseau public
Si vous avez choisi le mode d'accès au réseau public pour votre serveur Web Apache Airflow, le trafic réseau est acheminé publiquement sur Internet.
-
Amazon MWAA crée un point de terminaison d'interface VPC pour votre base de données de métadonnées Amazon Aurora PostgreSQL. Le point de terminaison est créé dans les zones de disponibilité mappées à vos sous-réseaux privés et est indépendant des autres. Comptes AWS
-
Amazon MWAA lie ensuite une adresse IP de vos sous-réseaux privés aux points de terminaison de l'interface. Ceci est conçu pour prendre en charge la meilleure pratique consistant à lier une adresse IP unique depuis chaque zone de disponibilité d'Amazon VPC.
Mode d'accès au réseau privé
Si vous avez choisi le mode d'accès au réseau privé pour votre serveur Web Apache Airflow, le trafic réseau est acheminé de manière privée au sein de votre Amazon VPC.
-
Amazon MWAA crée un point de terminaison d'interface VPC pour votre serveur Web Apache Airflow et un point de terminaison d'interface pour votre base de métadonnées Amazon Aurora PostgreSQL. Les points de terminaison sont créés dans les zones de disponibilité mappées à vos sous-réseaux privés et sont indépendants des autres. Comptes AWS
-
Amazon MWAA lie ensuite une adresse IP de vos sous-réseaux privés aux points de terminaison de l'interface. Ceci est conçu pour prendre en charge la meilleure pratique consistant à lier une adresse IP unique depuis chaque zone de disponibilité d'Amazon VPC.
Mode d'accès au réseau public et privé
Si vous avez choisi le mode d'accès réseau public et privé pour votre serveur Web Apache Airflow, le trafic réseau vers l'interface utilisateur d'Apache Airflow est acheminé publiquement sur Internet, tandis que les communications entre le personnel et le serveur Web sont acheminées de manière privée au sein de votre Amazon VPC.
-
Amazon MWAA crée un point de terminaison d'interface VPC pour votre serveur Web Apache Airflow (pour la connectivité des collaborateurs) et un point de terminaison d'interface pour votre base de métadonnées Amazon Aurora PostgreSQL. Les points de terminaison sont créés dans les zones de disponibilité mappées à vos sous-réseaux privés et sont indépendants des autres. Comptes AWS
-
Amazon MWAA lie ensuite une adresse IP de vos sous-réseaux privés aux points de terminaison de l'interface. Ceci est conçu pour prendre en charge la meilleure pratique consistant à lier une adresse IP unique depuis chaque zone de disponibilité d'Amazon VPC.
-
L'interface utilisateur d'Apache Airflow est accessible via Internet via un équilibreur de charge réseau public. Les utilisateurs accèdent à l'interface utilisateur de la même manière qu'avec le mode d'accès au réseau public.
Pour en savoir plus, consultezExemples de cas d'utilisation pour un mode d'accès Amazon VPC et Apache Airflow.
Configuration des modes d'accès
La section suivante décrit l'installation et les configurations supplémentaires dont vous aurez besoin en fonction du mode d'accès Apache Airflow que vous avez choisi pour votre environnement.
Configuration pour le réseau public
Si vous choisissez l'option Réseau public pour votre serveur Web Apache Airflow, vous pouvez commencer à utiliser l'interface utilisateur Apache Airflow après avoir créé votre environnement.
Vous devez suivre les étapes suivantes pour configurer l'accès de vos utilisateurs et l'autorisation d'utiliser d'autres AWS services dans votre environnement.
-
Ajoutez des autorisations. Amazon MWAA a besoin d'une autorisation pour utiliser d'autres AWS services. Lorsque vous créez un environnement, Amazon MWAA crée un rôle lié à un service qui lui permet d'utiliser certaines actions IAM pour Amazon Elastic Container Registry (Amazon ECR), CloudWatch Logs et Amazon EC2.
Vous pouvez ajouter l'autorisation d'utiliser des actions supplémentaires pour ces services, ou d'utiliser d'autres AWS services en ajoutant des autorisations à votre rôle d'exécution. Pour en savoir plus, consultezRôle d'exécution Amazon MWAA.
-
Créez des politiques pour les utilisateurs. Vous devrez peut-être créer plusieurs politiques IAM pour vos utilisateurs afin de configurer l'accès à votre environnement et à l'interface utilisateur d'Apache Airflow. Pour en savoir plus, consultezAccès à un environnement Amazon MWAA.
Configuration pour le réseau privé
Si vous choisissez l'option Réseau privé pour votre serveur Web Apache Airflow, vous devez configurer l'accès de vos utilisateurs, autoriser votre environnement à utiliser d'autres AWS services et créer un mécanisme permettant d'accéder aux ressources de votre Amazon VPC depuis votre ordinateur.
-
Ajoutez des autorisations. Amazon MWAA a besoin d'une autorisation pour utiliser d'autres AWS services. Lorsque vous créez un environnement, Amazon MWAA crée un rôle lié à un service qui lui permet d'utiliser certaines actions IAM pour Amazon Elastic Container Registry (Amazon ECR), CloudWatch Logs et Amazon EC2.
Vous pouvez ajouter l'autorisation d'utiliser des actions supplémentaires pour ces services, ou d'utiliser d'autres AWS services en ajoutant des autorisations à votre rôle d'exécution. Pour en savoir plus, consultezRôle d'exécution Amazon MWAA.
-
Créez des politiques pour les utilisateurs. Vous devrez peut-être créer plusieurs politiques IAM pour vos utilisateurs afin de configurer l'accès à votre environnement et à l'interface utilisateur d'Apache Airflow. Pour en savoir plus, consultezAccès à un environnement Amazon MWAA.
-
Activez l'accès au réseau. Vous devez créer un mécanisme dans votre Amazon VPC pour vous connecter au point de terminaison VPC (AWS PrivateLink) de votre serveur Web Apache Airflow. Par exemple, en créant un tunnel VPN depuis votre ordinateur à l'aide d'un AWS Client VPN.
Configuration pour l'accès au réseau public et privé
Si vous choisissez l'option d'accès au réseau public et privé pour votre serveur Web Apache Airflow, vous pouvez commencer à utiliser l'interface utilisateur Apache Airflow après avoir créé votre environnement. Aucun mécanisme d'accès aux terminaux VPN ou VPC n'est requis pour accéder au navigateur. L'interface utilisateur d'Apache Airflow est accessible via Internet. Les travailleurs se connectent automatiquement au serveur Web via le point de terminaison VPC privé.
Vous devez suivre les étapes suivantes pour configurer l'accès de vos utilisateurs et l'autorisation d'utiliser d'autres AWS services dans votre environnement.
-
Ajoutez des autorisations. Amazon MWAA a besoin d'une autorisation pour utiliser d'autres AWS services. Lorsque vous créez un environnement, Amazon MWAA crée un rôle lié à un service qui lui permet d'utiliser certaines actions IAM pour Amazon Elastic Container Registry (Amazon ECR), CloudWatch Logs et Amazon EC2.
Vous pouvez ajouter l'autorisation d'utiliser des actions supplémentaires pour ces services, ou d'utiliser d'autres AWS services en ajoutant des autorisations à votre rôle d'exécution. Pour en savoir plus, consultezRôle d'exécution Amazon MWAA.
-
Créez des politiques pour les utilisateurs. Vous devrez peut-être créer plusieurs politiques IAM pour vos utilisateurs afin de configurer l'accès à votre environnement et à l'interface utilisateur d'Apache Airflow. Pour en savoir plus, consultezAccès à un environnement Amazon MWAA.
Accès au point de terminaison VPC de votre serveur Web Apache Airflow (accès réseau privé)
Si vous avez choisi l'option Réseau privé, vous devez créer un mécanisme dans votre Amazon VPC pour accéder au point de terminaison VPC (AWS PrivateLink) de votre serveur Web Apache Airflow. Nous vous recommandons d'utiliser le même Amazon VPC, le même groupe de sécurité VPC et les mêmes sous-réseaux privés que votre environnement Amazon MWAA pour ces ressources.
Si vous avez choisi Accès au réseau public et privé, vous n'avez pas besoin de créer un mécanisme pour accéder à l'interface utilisateur d'Apache Airflow. Il est accessible via Internet. Le point de terminaison VPC privé est utilisé automatiquement par les collaborateurs pour les communications internes.
Pour en savoir plus, consultez la section Gestion de l'accès aux terminaux VPC.
