Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisation des DAG sur Amazon MWAA
Pour exécuter des graphes acycliques dirigés (DAG) dans un environnement Amazon Managed Workflows pour Apache Airflow, vous copiez vos fichiers dans le compartiment de stockage Amazon S3 attaché à votre environnement, puis vous indiquez à Amazon MWAA où se trouvent vos DAG et les fichiers de support sur la console Amazon MWAA. Amazon MWAA se charge de synchroniser les DAG entre les travailleurs, les planificateurs et le serveur Web. Ce guide explique comment ajouter ou mettre à jour vos DAG, et comment installer des plugins personnalisés et des dépendances Python dans un environnement Amazon MWAA.
Rubriques
Présentation du bucket Amazon S3
L'accès public d'un compartiment Amazon S3 pour un environnement Amazon MWAA doit être bloqué. Par défaut, toutes les ressources Amazon S3 (compartiments, objets et sous-ressources associées (par exemple, configuration du cycle de vie) sont privées.
-
Seul le propriétaire de la ressource, le AWS compte qui a créé le compartiment, peut accéder à la ressource. Le propriétaire de la ressource (par exemple, votre administrateur) peut accorder des autorisations d'accès à d'autres personnes en rédigeant une politique de contrôle d'accès.
-
La politique d'accès que vous configurez doit être autorisée à ajouter des DAG, des plug-ins personnalisés et des dépendances Python
requirements.txt
à votre compartiment Amazon S3.plugins.zip
Pour un exemple de politique contenant les autorisations requises, consultez AmazonMWAA. FullConsoleAccess
Le contrôle de version d'un compartiment Amazon S3 pour un environnement Amazon MWAA doit être activé. Lorsque le versionnement des compartiments Amazon S3 est activé, chaque fois qu'une nouvelle version est créée, une nouvelle copie est créée.
-
La gestion des versions est activée pour les plugins personnalisés dans un compartiment
plugins.zip
, et les dépendances Python dans unrequirements.txt
compartiment Amazon S3. -
Vous devez spécifier la version d'un
plugins.zip
etrequirements.txt
sur la console Amazon MWAA chaque fois que ces fichiers sont mis à jour dans votre compartiment Amazon S3.