Création d'un environnement Amazon MWAA

Pour spécifier les détails de l'environnement

1. Ouvrez la console Amazon MWAA.

2. Sélectionnez votre Région AWS.

3. Choisissez Create environment.

4. Sur la page Spécifier les détails, sous Détails de l'environnement  :

   1. Entrez un nom unique pour votre environnement dans Nom.

   2. Choisissez la version Apache Airflow dans la Version Airflow.

      Note

      Si aucune valeur n'est spécifiée, la dernière version d'Apache Airflow est utilisée par défaut. La dernière version disponible est Apache Airflow v3.2.1.

   3. Entrez la période de maintenance de votre environnement dans la fenêtre de maintenance hebdomadaire.

      Note

      Amazon MWAA effectue deux types de maintenance sur votre environnement :

      Maintenance régulière des bases de données

      Amazon MWAA transmet une fenêtre de maintenance à la base de métadonnées Aurora PostgreSQL sous-jacente. Cette maintenance n'interrompt pas vos DAG, tâches ou autres opérations Apache Airflow en cours d'exécution.

      Correctifs critiques

      Dans de rares cas, Amazon MWAA applique des correctifs de sécurité ou de stabilité à votre environnement. Vous recevez une notification via le tableau de bord de AWS santé avant l'application d'un correctif. Votre environnement redémarre pendant l'application des correctifs et est temporairement indisponible.

      Vous ne pouvez pas vous désabonner de la maintenance des services gérés.

5. Sous Code DAG dans Amazon S3, spécifiez ce qui suit :

   1. Seau S3 Choisissez Parcourir S3 et sélectionnez votre compartiment Amazon S3, ou saisissez l'URI Amazon S3.

   2. Dossier DAGs. Choisissez Parcourir S3 et sélectionnez le dags dossier dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   3. Fichier de plugins : facultatif . Choisissez Parcourir S3 et sélectionnez le plugins.zip fichier dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   4. Fichier des exigences : facultatif . Choisissez Parcourir S3 et sélectionnez le requirements.txt fichier dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   5. Fichier de script de démarrage : facultatif , choisissez Parcourir S3 et sélectionnez le fichier de script dans votre compartiment Amazon S3, ou saisissez l'URI Amazon S3.

6. Choisissez Suivant.

Pour configurer les paramètres avancés

1. Sur la page Configurer les paramètres avancés, sous Réseau  :

   1. Choisissez votre Amazon VPC.

      Cette étape permet de renseigner deux des sous-réseaux privés de votre Amazon VPC.

2. Dans Accès au serveur Web, sélectionnez votre mode d'accès Apache Airflow préféré :

   1. Réseau privé. Cela limite l'accès à l'interface utilisateur d'Apache Airflow aux utilisateurs de votre Amazon VPC qui ont obtenu l'accès à la politique IAM de votre environnement. Vous devez être autorisé à créer des points de terminaison Amazon VPC pour cette étape.

      Note

      Choisissez l'option Réseau privé si votre interface utilisateur Apache Airflow n'est accessible que depuis un réseau d'entreprise et que vous n'avez pas besoin d'accéder à des référentiels publics pour l'installation requise par le serveur Web. Si vous choisissez cette option de mode d'accès, vous devez créer un mécanisme pour accéder à votre serveur Web Apache Airflow dans votre Amazon VPC. Pour plus d’informations, consultez Accès au point de terminaison VPC de votre serveur Web Apache Airflow (accès réseau privé).

   2. Réseau public. Cela permet aux utilisateurs autorisés à accéder à la politique IAM de votre environnement à l'interface utilisateur d'Apache Airflow via Internet.

   3. Accès au réseau public et privé. Disponible pour Apache Airflow version 3.2.1 et versions ultérieures. Cela permet d'accéder à l'interface utilisateur d'Apache Airflow via Internet, tandis que les travailleurs communiquent avec le serveur Web via un point de terminaison VPC privé. Choisissez cette option si l'Amazon VPC hébergeant votre environnement n'a pas accès à Internet.

3. Dans Groupes de sécurité, choisissez le groupe de sécurité utilisé pour sécuriser votre Amazon VPC  :

   1. Par défaut, Amazon MWAA crée un groupe de sécurité dans votre Amazon VPC avec des règles entrantes et sortantes spécifiques dans Créer un nouveau groupe de sécurité.

   2. Facultatif. Décochez la case dans Créer un nouveau groupe de sécurité pour sélectionner jusqu'à 5 groupes de sécurité.

      Note

      Un groupe de sécurité Amazon VPC existant doit être configuré avec des règles entrantes et sortantes spécifiques pour autoriser le trafic réseau. Pour en savoir plus, consultezSécurité de votre VPC sur Amazon MWAA.

4. Dans Classe d'environnement, choisissez une classe d'environnement.

   Nous vous recommandons de choisir la plus petite taille nécessaire pour supporter votre charge de travail. Vous pouvez modifier la classe d'environnement à tout moment.

5. Pour Nombre maximum de travailleurs, spécifiez le nombre maximum de travailleurs Apache Airflow à exécuter dans l'environnement.

   Pour plus d’informations, consultez Exemple de cas d'utilisation à hautes performances.

6. Spécifiez le nombre maximum de serveurs Web et le nombre minimum de serveurs Web pour configurer la manière dont Amazon MWAA adapte les serveurs Web Apache Airflow dans votre environnement.

   Pour plus d'informations sur la mise à l'échelle automatique des serveurs Web, reportez-vous àConfiguration du dimensionnement automatique du serveur Web Amazon MWAA.

7. Sous Chiffrement, choisissez une option de cryptage des données :

   1. Par défaut, Amazon MWAA utilise une clé AWS qui lui appartient pour chiffrer vos données.

   2. Facultatif. Choisissez Personnaliser les paramètres de chiffrement (avancés) pour choisir une autre AWS KMS clé. Si vous choisissez de spécifier une Customer-managed clé à cette étape, vous devez spécifier un ID de AWS KMS clé ou un ARN. AWS KMS les alias et les clés multirégions ne sont pas pris en charge par Amazon MWAA. Si vous avez spécifié une clé Amazon S3 pour le chiffrement côté serveur sur votre compartiment Amazon S3, vous devez spécifier la même clé pour votre environnement Amazon MWAA.

      Note

      Vous devez être autorisé à accéder à la clé pour la sélectionner sur la console Amazon MWAA. Vous devez également autoriser Amazon MWAA à utiliser la clé en joignant la politique décrite dansJoindre une politique clé.

8. Recommandé Sous Surveillance, choisissez une ou plusieurs catégories de journaux pour la configuration de la journalisation Airflow afin d'envoyer les journaux Apache Airflow aux CloudWatch journaux :

   1. Journaux de tâches Airflow. Choisissez le type de journaux de tâches Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   2. Journaux du serveur Web Airflow. Choisissez le type de journaux du serveur Web Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   3. Journaux du planificateur de flux d'air. Choisissez le type de journaux du planificateur Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   4. Journaux du personnel chargé du flux d'air. Choisissez le type de journaux de travail Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   5. Journaux de traitement Airflow DAG. Choisissez le type de journaux de traitement Apache Airflow DAG à envoyer au niveau CloudWatch Logs in Log.

9. Facultatif. Pour les options de configuration du flux d'air, choisissez Ajouter une option de configuration personnalisée.

   Vous pouvez choisir parmi la liste déroulante suggérée des options de configuration d'Apache Airflow pour votre version d'Apache Airflow, ou spécifier des options de configuration personnalisées. Par exemple, core.default_task_retries : 3.

10. Facultatif. Sous Tags, choisissez Ajouter un nouveau tag pour associer des tags à votre environnement. Par exemple, Environment :Staging.

11. Dans Autorisations, choisissez un rôle d'exécution :

    1. Par défaut, Amazon MWAA crée un rôle d'exécution dans Créer un nouveau rôle. Vous devez être autorisé à créer des rôles IAM pour utiliser cette option.

    2. Facultatif. Choisissez Entrer l'ARN du rôle pour saisir le nom de ressource Amazon (ARN) d'un rôle d'exécution existant.

12. Choisissez Suivant.

Pour consulter un résumé de l'environnement

• Consultez le résumé de l'environnement, puis choisissez Créer un environnement.

  Note

  Il faut environ vingt à trente minutes pour créer un environnement.