View a markdown version of this page

AWS modèle de responsabilité partagée pour Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Une infrastructure qui AWS gèreCode de flux de travail et contenu que vous gérezL'excellence opérationnelle que vous gérezConfiguration et accès que vous gérezRessources connexes

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

AWS modèle de responsabilité partagée pour Amazon MWAA

Ce guide s'applique aux environnements provisionnés par Amazon MWAA. Dans un environnement provisionné, vous sélectionnez la classe d'environnement et vous configurez les limites de dimensionnement du serveur de travail et du serveur Web.

La sécurité et la conformité sont une responsabilité partagée entre vous AWS et vous. Le modèle de responsabilité partagée décrit ceci comme la sécurité du cloud et la sécurité dans le cloud : Pour Amazon MWAA, ce modèle va au-delà de la sécurité pour inclure la responsabilité opérationnelle. Nous exploitons, gérons et contrôlons les composants sous-jacents. Cela va du système d'exploitation hôte et de la couche de virtualisation à la sécurité physique des installations dans lesquelles le service fonctionne.

Vous êtes responsable de la gestion du contenu que vous déployez dans votre environnement. Sur Amazon MWAA, ce contenu inclut votre code DAG et les Python dépendances que vous déclarez dansrequirements.txt. Il inclut également vos plugins personnalisés et tout script de démarrage que vous fournissez. Votre responsabilité couvre la configuration, le réseau et les autorisations que vous choisissez. Vous êtes également responsable du fonctionnement quotidien des flux de travail exécutés sur l'environnement. Amazon MWAA gère le contenu que vous fournissez au fur et à mesure que vous le fournissez. Amazon MWAA ne l'inspecte pas, ne le valide pas et ne le modifie pas.

Note

Bien qu'il AWS gère l'infrastructure de votre environnement, les données que vos flux de travail écrivent dans la base de données de métadonnées ont une incidence directe sur les performances du service. La croissance illimitée des métadonnées peut dégrader les temps de réponse du planificateur et du serveur Web. Vous êtes responsable de la gestion du volume de données de votre environnement.

Une infrastructure qui AWS gère

Nous sommes responsables de la protection de l'infrastructure qui gère AWS les services dans le AWS Cloud. Pour Amazon MWAA, cela inclut les éléments suivants :

  • Configuration d'Apache Airflow  : Amazon MWAA configure Apache Airflow pour vous. Il utilise la même interface utilisateur Apache Airflow et le même code open source disponibles sur Internet. Pour de plus amples informations, veuillez consulter Qu'est-ce qu'Amazon Managed Workflows pour Apache Airflow ?.

  • Calcul pour les composants gérés  : Amazon MWAA fournit et gère le AWS Fargate calcul pour votre environnement. Ce calcul exécute le planificateur, les workers et le serveur Web Apache Airflow. Amazon MWAA fournit et gère également la base de données de métadonnées Apache Airflow. Pour chaque environnement, Amazon MWAA crée un Amazon VPC AWS propriétaire qui héberge le serveur Web et la base de données de métadonnées. Le planificateur et les travailleurs se connectent aux sous-réseaux privés de l'Amazon VPC de votre environnement, que vous possédez et configurez. Pour plus d'informations, consultez la section Découvrir l'architecture réseau Amazon MWAA dans le Guide de migration Amazon MWAA.

  • La base de données de métadonnées Apache Airflow — Amazon MWAA fournit et gère la base de données de métadonnées Apache Airflow pour chaque environnement. Vous restez responsable du volume de données que vos flux de travail y écrivent. Pour de plus amples informations, veuillez consulter L'excellence opérationnelle que vous gérez.

  • Images de version et correctifs  : Amazon MWAA crée des images de conteneurs qui regroupent les versions d'Apache Airflow avec d'autres bibliothèques et fichiers binaires courants. Python Amazon MWAA corrige ces images. Un environnement continue à utiliser la version d'image spécifiée jusqu'à ce que vous émettiez une action de mise à jour de l'environnement pour la déplacer vers une version ultérieure. Pour de plus amples informations, veuillez consulter À propos des versions d'Amazon MWAA. Les définitions d'images sont disponibles dans le référentiel https://github.com/aws/amazon-mwaa-docker-images amazon-mwaa-docker-images du site Web. GitHub

  • Cycle de vie du support des versions  : Amazon MWAA publie les dates de disponibilité et de fin de support pour chaque version d'Apache Airflow. Amazon MWAA vous avertit Tableau de bord Health lorsqu'un environnement de votre compte exécute une version dont la période de support approche de la fin du support. Pour l'engagement de soutien actuel et les dates, voirEnd-of-support versions.

  • Dimensionnement automatique des composants gérés  : Amazon MWAA adapte le personnel et le serveur Web en fonction de la demande. La mise à l'échelle reste dans les limites que vous configurez. Vous choisissez la classe d'environnement, les paramètres de dimensionnement du serveur de travail et du serveur Web, ainsi que le nombre de planificateurs. Pour plus d’informations, consultez Configuration du dimensionnement automatique d'Amazon MWAA Worker, Configuration du dimensionnement automatique du serveur Web Amazon MWAA et Configuration de la classe d'environnement Amazon MWAA.

  • Chiffrement des données  : Amazon MWAA chiffre vos données au repos et en transit. Amazon MWAA associe également les autorisations requises à une clé KMS gérée par le client en votre nom. Pour de plus amples informations, veuillez consulter Protection des données dans les flux de travail gérés par Amazon pour Apache Airflow.

  • Métriques et journaux  : Amazon MWAA publie des métriques d'environnement sur Amazon CloudWatch. Amazon MWAA transmet les journaux Apache Airflow aux CloudWatch journaux pour les types de journaux que vous activez. Pour de plus amples informations, veuillez consulter Présentation de la surveillance sur Amazon MWAA.

  • Programmes de conformité  : les Third-party auditeurs testent et vérifient régulièrement l'efficacité de la AWS sécurité. Pour de plus amples informations, veuillez consulter Validation de conformité pour Amazon Managed Workflows pour Apache Airflow.

Code de flux de travail et contenu que vous gérez

Vous êtes responsable de garder le contrôle sur le contenu que vous hébergez sur cette infrastructure. Ce contenu inclut les éléments suivants :

  • Code DAG  : définitions du DAG que vous copiez dans le dags dossier de votre compartiment Amazon S3. Vous êtes responsable des accès de ces DAG et des opérations qu'ils effectuent. Pour de plus amples informations, veuillez consulter Ajouter ou mettre à jour DAGs.

  • Pythondependencies  : bibliothèques que vous installez en chargeant un requirements.txt fichier dans votre compartiment Amazon S3. Cela inclut la sécurité et la compatibilité de tous les packages dont vos flux de travail ont besoin. Les packages incompatibles ou gourmands en ressources peuvent dégrader les performances du planificateur et du worker ou empêcher le démarrage des conteneurs. Pour plus d’informations, consultez Installation des dépendances Python et Gestion des dépendances Python dans requirements.txt.

  • Plug-ins personnalisés  : contenu du plugins.zip fichier que vous chargez dans votre compartiment Amazon S3. Nous vous recommandons de vérifier le contenu du fichier avant de le charger. Pour de plus amples informations, veuillez consulter Installation de plugins personnalisés.

  • Scripts de démarrage : script shell qu'Amazon MWAA exécute sur chaque composant au démarrage. Vous spécifiez également l'ID de version Amazon S3 pour le script. Pour de plus amples informations, veuillez consulter Utilisation d’un script de démarrage avec Amazon MWAA.

  • Tests  : validation de vos DAG, de vos plugins personnalisés et de vos Python dépendances avant de les déployer dans un environnement. Nous vous recommandons de tester les mises à niveau de la version d'Apache Airflow dans un environnement de développement avant de les appliquer à la production. Vous pouvez utiliser l'image du conteneur amazon-mwaa-docker-images sur le site Web pour développer et tester localement. GitHub

  • Votre compartiment Amazon S3 et son contenu  : la politique du compartiment et les ACL des objets pour le compartiment associé à votre environnement. Amazon MWAA ne sauvegarde pas le contenu du bucket en votre nom. Nous vous recommandons d'activer la gestion des versions et de configurer la réplication entre régions si vos DAG, vos plug-ins et vos fichiers d'exigences nécessitent une posture de reprise après sinistre. Nous vous recommandons également de ne pas stocker d'autres objets dans le seau et de ne pas l'utiliser avec un autre service.

  • Données que vous saisissez — Nous vous recommandons vivement de ne jamais mettre d'informations confidentielles ou sensibles dans des balises ou des champs de forme libre tels qu'un champ Nom.

L'excellence opérationnelle que vous gérez

Amazon MWAA gère l'infrastructure gérée. Vous restez responsable des flux de travail qui s'exécutent sur cette infrastructure. Le code, les dépendances et la configuration que vous déployez déterminent les performances de votre environnement. Amazon MWAA publie les métriques et les journaux qui décrivent l'état de santé de l'environnement. Il vous incombe d'interpréter ces données, de paramétrer des alarmes et de donner suite à ce qu'elles signalent.

  • Surveillance de l'état de l'environnement  : examen CloudWatch des indicateurs publiés par Amazon MWAA pour votre environnement. Il s'agit notamment des mesures relatives aux conteneurs, aux files d'attente et aux bases de données qui vous aident à détecter la saturation et la dégradation. Pour plus d’informations, consultez Surveillance et indicateurs pour Amazon Managed Workflows pour Apache Airflow et Métriques relatives aux conteneurs, aux files d'attente et aux bases de données pour Amazon MWAA.

  • Tableaux de bord et alarmes — Création de CloudWatch tableaux de bord et d'alarmes qui vous avertissent lorsque votre environnement atteint ses limites. Pour de plus amples informations, veuillez consulter Tableaux de bord de surveillance et alarmes sur Amazon MWAA.

  • Analyse des journaux  : activation des types de journaux Apache Airflow dont vous avez besoin. Vous analysez ensuite les journaux du planificateur, des tâches, du serveur Web et des tâches pour diagnostiquer les défaillances du flux de travail. Pour plus d’informations, consultez Accès aux journaux Airflow sur Amazon CloudWatch et Résolution des problèmes : CloudWatch journaux et CloudTrail erreurs.

  • CloudWatch quotas de service  : assurez-vous que les CloudWatch quotas de votre compte peuvent gérer le volume de journaux produit par votre environnement. Le dépassement des quotas CloudWatch Logs CreateLogStream peut entraîner la dégradation des travailleurs. Pour plus d'informations, consultez la section CloudWatch Consignez les quotas.

  • Maintenance de la base de données de métadonnées — Maintien de la légèreté de la base de données de métadonnées Apache Airflow. Supprimez régulièrement les métadonnées dont vos flux de travail n'ont plus besoin. Une base de métadonnées illimitée peut dégrader les performances du planificateur et du serveur Web. Pour de plus amples informations, veuillez consulter Nettoyage de la base de données Aurora PostgreSQL dans un environnement Amazon MWAA.

  • Conception et fréquence de planification des DAG  : le nombre de vos DAG, les tâches par DAG et les intervalles de planification déterminent directement la charge sur le planificateur géré. Amazon MWAA ne limite ni ne rejette les charges de travail qui dépassent la capacité de l'environnement. Vous devez concevoir vos DAG pour qu'ils s'adaptent aux ressources que vous configurez.

  • Gouvernance des ressources de tâches  : définition des délais d'expiration au niveau des tâches, de la taille des pools Apache Airflow et des limites de simultanéité par jour. Amazon MWAA n'applique pas de garde-fous par tâche en votre nom. Sans ces paramètres, un seul DAG de longue durée ou à haute simultanéité peut consommer tous les travailleurs disponibles.

  • Réglage des capacités et des performances  : choix de la classe d'environnement, des limites d'évolutivité du serveur de travail et du serveur Web, ainsi que des options de configuration d'Apache Airflow adaptées à votre charge de travail. La mise à l'échelle automatique fonctionne dans les limites que vous configurez et ne compense pas les charges de travail qui dépassent la capacité de conception de l'environnement. Vous devez dimensionner correctement la classe d'environnement en fonction de votre profil de charge de travail. Pour plus d’informations, consultez Réglage des performances pour Apache Airflow sur Amazon MWAA et Configuration de la classe d'environnement Amazon MWAA.

  • Modifications que vous apportez par le biais d'un script de démarrage  : un script de démarrage s'exécute sur chaque composant de votre environnement. Il peut modifier la configuration de ces composants. Vous êtes responsable des modifications que vous apportez de cette manière, y compris de leurs effets sur la stabilité de l'environnement. Nous vous recommandons de tester un script de démarrage avant de l'appliquer à un environnement de production. Pour de plus amples informations, veuillez consulter Utilisation d’un script de démarrage avec Amazon MWAA.

  • Mises à jour de l'environnement  : il vous appartient de lancer une mise à jour de l'environnement. Les mises à jour déclenchent le redémarrage du conteneur et peuvent affecter les flux de travail en cours d'exécution. Vous êtes responsable du choix du moment de la mise à jour et de l'évaluation de son effet sur les tâches en cours. Nous vous recommandons de procéder à la mise à jour pendant la période de votre choix, lorsqu'aucun DAG critique n'est en cours d'exécution. Pour effectuer les mises à jour sans interrompre ni réactiver vos DAG, pensez aux mises à jour progressives, qui permettent aux collaborateurs de terminer les tâches en cours avant de les arrêter. Des conditions et des limites s'appliquent ; pour plus d'informations, consultez Mettre à jour un environnement Amazon MWAA.

  • First-level triage  : utilisez les statistiques et les journaux disponibles pour diagnostiquer les problèmes avant de contacter le AWS support. Le niveau de détail que AWS Support peut utiliser pour vous aider dépend du niveau de journalisation que vous avez activé pour votre environnement.

  • Cross-environment orchestration  : coordination des flux de travail dans plusieurs environnements Amazon MWAA. Si vous utilisez des mécanismes tels que l'API REST Apache Airflow ou des capteurs externes pour relier des environnements, vous êtes responsable de cette logique de coordination.

  • Suivre les meilleures pratiques Amazon MWAA  : appliquer les instructions documentées en matière de performances, de gestion des dépendances et de configuration de l'environnement. Pour de plus amples informations, veuillez consulter Meilleures pratiques pour Amazon Managed Workflows pour Apache Airflow.

Configuration et accès que vous gérez

Vous choisissez comment votre environnement est configuré et qui peut y accéder. Vous êtes responsable des tâches suivantes :

  • Maintien à jour de votre version  : vous êtes responsable de la mise à jour de vos versions d'Amazon MWAA. La mise à niveau d'un environnement vers une version plus récente d'Apache Airflow est une action que vous lancez. Pour plus d’informations, consultez Modification de la version d'Apache Airflow et End-of-support versions.

  • Le rôle d'exécution  : Amazon MWAA ne peut pas ajouter ou modifier des politiques d'autorisation sur un rôle d'exécution existant après la création d'un environnement. Vous devez mettre à jour le rôle d'exécution avec les autorisations supplémentaires dont votre environnement a besoin. Pour de plus amples informations, veuillez consulter Rôle d'exécution Amazon MWAA.

  • Contrôle d'accès IAM  : politiques qui déterminent qui peut accéder à votre environnement et à l'interface utilisateur d'Apache Airflow. Accordez des autorisations uniquement aux ressources et aux actions dont les utilisateurs ont besoin. Pour plus d’informations, consultez Gestion des identités et des accès AWS et Accès à un environnement Amazon MWAA.

  • Privilèges utilisateur d'Apache Airflow  : Apache Airflow n'est pas mutualisé. Les auteurs de DAG peuvent écrire des DAG qui modifient les privilèges utilisateur d'Apache Airflow et interagissent avec la base de métadonnées sous-jacente. Nous recommandons d'utiliser des environnements distincts pour les équipes distinctes qui ont accès à l'écriture du DAG. Pour de plus amples informations, veuillez consulter Meilleures pratiques de sécurité dans Apache Airflow.

  • Mode d'accès au serveur Web  : choisissez PUBLIC_ONLY ou souhaitez accéder PRIVATE_ONLY à l'interface utilisateur d'Apache Airflow. Il s'agit d'une décision de sécurité qui détermine si le point de terminaison du serveur Web est accessible depuis Internet. Pour de plus amples informations, veuillez consulter Sécurité de votre VPC sur Amazon MWAA.

  • Configuration réseau  : votre Amazon VPC, vos sous-réseaux, vos groupes de sécurité et vos ACL réseau. Cela inclut les règles entrantes et sortantes qui dirigent le trafic sur vos passerelles NAT. Si vous choisissez de gérer vos propres points de terminaison Amazon VPC, vous êtes responsable de leur création. Pour plus d’informations, consultez Sécurité de votre VPC sur Amazon MWAA et Gérer vos propres points de terminaison Amazon VPC sur Amazon MWAA.

  • Choix de la clé de chiffrement  : s'il faut utiliser une clé KMS AWS détenue ou une clé KMS gérée par le client. Si vous utilisez une clé KMS gérée par le client, vous devez y joindre les déclarations de politique requises. Pour de plus amples informations, veuillez consulter Protection des données dans les flux de travail gérés par Amazon pour Apache Airflow.

  • Secrets et connexions  : informations d'identification utilisées par vos flux de travail. Nous vous recommandons de stocker les secrets dans Secrets Manager. Pour de plus amples informations, veuillez consulter Configuration d'une connexion Apache Airflow à l'aide d'un AWS Secrets Manager secret.

  • Options de configuration d'Apache Airflow  : options de configuration que vous modifiez dans votre environnement. Pour de plus amples informations, veuillez consulter Utilisation des options de configuration d'Apache Airflow sur Amazon MWAA.

Ressources connexes