Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Découvrez l'architecture MWAA du réseau Amazon
La section suivante décrit les principaux composants d'un MWAA environnement Amazon, ainsi que l'ensemble des AWS services auxquels chaque environnement s'intègre pour gérer ses ressources, garantir la sécurité de vos données et assurer la surveillance et la visibilité de vos flux de travail.
Rubriques
MWAAComposants Amazon
Les MWAA environnements Amazon se composent des quatre composants principaux suivants :
-
Planificateur : analyse et surveille toutes vos tâchesDAGs, et les met en file d'attente pour exécution lorsque les dépendances DAG de a sont satisfaites. Amazon MWAA déploie le planificateur sous la forme d'un AWS Fargate cluster avec un minimum de 2 planificateurs. Vous pouvez augmenter le nombre de planificateurs jusqu'à cinq, en fonction de votre charge de travail. Pour plus d'informations sur les classes d'MWAAenvironnement Amazon, consultez la section Classe d'MWAAenvironnement Amazon.
-
Travailleurs : une ou plusieurs tâches Fargate qui exécutent vos tâches planifiées. Le nombre de travailleurs pour votre environnement est déterminé par une plage comprise entre le nombre minimum et maximum que vous spécifiez. Amazon MWAA lance l'auto-scaling des travailleurs lorsque le nombre de tâches en attente et en cours d'exécution est supérieur à ce que vos employés actuels peuvent gérer. Lorsque la somme des tâches en cours et en file d'attente est nulle pendant plus de deux minutes, Amazon MWAA réduit le nombre de travailleurs à son minimum. Pour plus d'informations sur la manière dont Amazon MWAA gère le dimensionnement automatique des travailleurs, consultez Amazon MWAA automatic scaling.
-
Serveur Web : exécute l'interface utilisateur Web d'Apache Airflow. Vous pouvez configurer le serveur Web avec un accès réseau privé ou public. Dans les deux cas, l'accès à vos utilisateurs d'Apache Airflow est contrôlé par la politique de contrôle d'accès que vous définissez dans AWS Identity and Access Management (IAM). Pour plus d'informations sur la configuration des politiques IAM d'accès pour votre environnement, consultez Accès à un MWAA environnement Amazon.
-
Base de données : stocke les métadonnées relatives à l'environnement Apache Airflow et à vos flux de travail, y compris l'historique DAG des exécutions. La base de données est une SQL base de données Aurora Postgre à locataire unique gérée et accessible par AWS le Scheduler et les conteneurs Fargate du Workers via un point de terminaison Amazon sécurisé de manière privée. VPC
Chaque MWAA environnement Amazon interagit également avec un ensemble de AWS services pour gérer diverses tâches, notamment le stockage, l'accès DAGs et les dépendances entre les tâches, la sécurisation de vos données au repos, ainsi que la journalisation et la surveillance de votre environnement. Le schéma suivant illustre les différents composants d'un MWAA environnement Amazon.
Note
Le service Amazon n'VPCest pas un service partagéVPC. Amazon MWAA crée un AWS propriétaire VPC pour chaque environnement que vous créez.
-
Amazon S3 — Amazon MWAA stocke toutes les ressources de votre flux de travailDAGs, telles que les exigences et les fichiers de plug-in dans un compartiment Amazon S3. Pour plus d'informations sur la création du compartiment dans le cadre de la création de l'environnement et sur le téléchargement de vos MWAA ressources Amazon, consultez la section Créer un compartiment Amazon S3 pour Amazon MWAA dans le guide de l'MWAAutilisateur Amazon.
-
Amazon SQS — Amazon MWAA utilise Amazon SQS pour mettre en file d'attente vos tâches de flux de travail avec un exécuteur Celery
. -
Amazon ECR — Amazon ECR héberge toutes les images Apache Airflow. Amazon prend MWAA uniquement en charge les images Apache Airflow AWS gérées.
-
AWS KMS— Amazon s' AWS KMS en MWAA sert pour garantir la sécurité de vos données au repos. Par défaut, Amazon MWAA utilise des AWS KMS clés AWS gérées, mais vous pouvez configurer votre environnement pour utiliser votre propre clé gérée par le client AWS KMS . Pour plus d'informations sur l'utilisation de votre propre AWS KMS clé gérée par le client, consultez la section Clés gérées par le client pour le chiffrement des données dans le guide de MWAAl'utilisateur Amazon.
-
CloudWatch— Amazon MWAA s'intègre à Apache Airflow CloudWatch et fournit des journaux et des métriques d'environnement CloudWatch, ce qui vous permet de surveiller vos MWAA ressources Amazon et de résoudre les problèmes.
Connectivité
Votre MWAA environnement Amazon doit avoir accès à tous les AWS services auxquels il s'intègre. Le rôle MWAA d'exécution Amazon contrôle la manière dont l'accès est accordé MWAA à Amazon pour se connecter à d'autres AWS services en votre nom. Pour la connectivité réseau, vous pouvez fournir un accès Internet public à votre Amazon VPC ou créer des VPC points de terminaison Amazon. Pour plus d'informations sur la configuration des VPC points de terminaison Amazon (AWS PrivateLink) pour votre environnement, consultez la section Gestion de l'accès aux VPC points de terminaison sur Amazon MWAA dans le guide de MWAAl'utilisateur Amazon.
Amazon MWAA installe les exigences sur le planificateur et le programme de travail. Si vos besoins proviennent d'un PyPi.whlfichiers sous forme de plugins personnalisés pour votre environnement.
Lorsque vous configurez Apache Airflow en mode privé, l'interface utilisateur d'Apache Airflow n'est accessible à votre Amazon que via les points de VPC terminaison AmazonVPC.
Pour plus d'informations sur la mise en réseau, consultez la section Mise en réseau dans le guide de MWAA l'utilisateur Amazon.
