Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation des options de configuration d'Apache Airflow sur Amazon MWAA

Les options de configuration d'Apache Airflow peuvent être associées à votre environnement Amazon Managed Workflows pour Apache Airflow en tant que variables d'environnement. Vous pouvez faire votre choix dans la liste déroulante suggérée ou spécifier des options de configuration personnalisées pour votre version d'Apache Airflow sur la console Amazon MWAA. Cette rubrique décrit les options de configuration d'Apache Airflow disponibles et explique comment les utiliser pour modifier les paramètres de configuration d'Apache Airflow dans votre environnement.

Conditions préalables

Vous aurez besoin des éléments suivants avant de pouvoir effectuer les étapes de cette page.

Comment ça marche

Lorsque vous créez un environnement, Amazon MWAA associe les paramètres de configuration que vous spécifiez sur la console Amazon MWAA dans les options de configuration d'Airflow en tant que variables d'environnement au AWS Fargate conteneur de votre environnement. Si vous utilisez un paramètre du même nom dansairflow.cfg, les options que vous spécifiez sur la console Amazon MWAA remplacent les valeurs de. airflow.cfg

Bien que nous ne les exposons pas par défaut airflow.cfg dans l'interface utilisateur Apache Airflow d'un environnement Amazon MWAA, vous pouvez modifier les options de configuration d'Apache Airflow directement sur la console Amazon MWAA, y compris les paramètres permettant d'webserver.expose_configexposer les configurations.

Utilisation des options de configuration pour charger des plugins

Par défaut, dans Apache Airflow v2 et versions ultérieures, les plugins sont configurés pour être chargés « paresseusement » à l'core.lazy_load_plugins : Trueaide de ce paramètre. Si vous utilisez des plugins personnalisés, vous devez ajouter core.lazy_load_plugins : False comme option de configuration Apache Airflow pour charger les plugins au début de chaque processus Airflow afin de modifier le paramètre par défaut.

Vue d'ensemble des options de configuration

Lorsque vous ajoutez une configuration sur la console Amazon MWAA, Amazon MWAA écrit la configuration en tant que variable d'environnement.

Options de configuration Apache Airflow

L'image suivante montre où vous pouvez personnaliser les options de configuration d'Apache Airflow sur la console Amazon MWAA.

Référence Apache Airflow

Pour obtenir la liste des options de configuration prises en charge par Apache Airflow, reportez-vous à la section Référence https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html de configuration du guide de référence Apache Airflow. Pour accéder aux options de la version d'Apache Airflow que vous utilisez sur Amazon MWAA, sélectionnez la version dans la liste déroulante.

Utilisation de la console Amazon MWAA

La procédure suivante explique les étapes à suivre pour ajouter une option de configuration Airflow à votre environnement.

Référence de configuration

La section suivante contient la liste des configurations Apache Airflow disponibles dans la liste déroulante de la console Amazon MWAA.

Configurations de messagerie

La liste suivante répertorie les options de configuration des notifications par e-mail Airflow disponibles sur Amazon MWAA pour Apache Airflow v2 et v3.

Nous vous recommandons d'utiliser le port 587 pour le trafic SMTP. Par défaut, AWS bloque le trafic SMTP sortant sur le port 25 de toutes les instances Amazon EC2. Si vous souhaitez envoyer du trafic sortant sur le port 25, vous pouvez demander la suppression de cette restriction.

Configurations des tâches

La liste suivante affiche les configurations disponibles dans la liste déroulante pour les tâches Airflow sur Amazon MWAA pour Apache Airflow v2 et v3.

Configurations du planificateur

La liste suivante répertorie les configurations du planificateur Apache Airflow disponibles dans la liste déroulante d'Amazon MWAA pour Apache Airflow v2 et v3.

Configurations des employés

La liste suivante répertorie les configurations de travail Airflow disponibles dans la liste déroulante d'Amazon MWAA pour Apache Airflow v2 et v3.

Configurations du serveur Web

La liste suivante répertorie les configurations de serveur Web Apache Airflow disponibles dans la liste déroulante d'Amazon MWAA pour Apache Airflow v2 et v3.

Configurations des déclencheurs

La liste suivante répertorie les configurations du déclencheur Apache Airflow disponibles sur Amazon MWAA pour Apache Airflow v2 et v3.

Configurations non prises en charge

Les options de configuration Apache Airflow suivantes ne sont pas disponibles dans Amazon MWAA. Vous ne pouvez pas définir ou modifier ces options à l'aide de la console ou de l'API Amazon MWAA.

Exemples et exemples de code

Exemple DAG

Vous pouvez utiliser le DAG suivant pour imprimer vos options de configuration d'email_backendApache Airflow. Pour exécuter en réponse à des événements Amazon MWAA, copiez le code dans le dossier DAGS de votre environnement sur votre compartiment de stockage Amazon S3.

from airflow.decorators import dag
				from datetime import datetime
				
				def print_var(**kwargs):
				email_backend = kwargs['conf'].get(section='email', key='email_backend')
				print("email_backend")
				return email_backend
				
				@dag(
				dag_id="print_env_variable_example",
				schedule_interval=None,     
				start_date=datetime(yyyy, m, d),
				catchup=False,
				)
				def print_variable_dag():
				email_backend_test = PythonOperator(
				task_id="email_backend_test",
				python_callable=print_var,
				provide_context=True
				)
				
				print_variable_test = print_variable_dag()

Exemples de paramètres de notification par e-mail

Les options de configuration Apache Airflow suivantes peuvent être utilisées pour un compte de Gmail.com messagerie à l'aide d'un mot de passe d'application. Pour plus d'informations, consultez la section Se connecter à l'aide des mots de passe des applications dans le guide de référence de l'aide Gmail.

Quelle est la prochaine étape ?