View a markdown version of this page

Qu'est-ce qu'Amazon Managed Workflows pour Apache Airflow ? - Amazon Managed Workflows for Apache Airflow
CaractéristiquesArchitectureIntegrationVersions prises en chargeQuelle est la prochaine étape ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Qu'est-ce qu'Amazon Managed Workflows pour Apache Airflow ?

Utilisez Amazon Managed Workflows pour Apache Airflow, un service géré pour Apache Airflow, pour configurer et exécuter des pipelines de données dans le cloud à grande échelle. Apache Airflow est un outil open source utilisé pour créer, planifier et surveiller les flux de travail.

Avec Amazon MWAA, vous pouvez utiliser Apache Airflow et Python pour créer des flux de travail sans gérer l'infrastructure pour des raisons d'évolutivité, de disponibilité et de sécurité. Amazon MWAA évolue automatiquement pour répondre à vos besoins en matière de flux de travail. Il s'intègre aux services AWS de sécurité pour fournir un accès rapide et sécurisé à vos données.

Caractéristiques

Consultez les fonctionnalités suivantes pour découvrir comment Amazon MWAA peut simplifier la gestion de vos flux de travail Apache Airflow.

  • Configuration automatique du flux d'air — Configurez rapidement Apache Airflow en choisissant une version d'Apache Airflow lorsque vous créez un environnement Amazon MWAA. Amazon MWAA configure Apache Airflow pour vous en utilisant la même interface utilisateur Apache Airflow et le même code open source disponibles sur Internet.

  • Dimensionnement automatique  : dimensionnez automatiquement les workers Apache Airflow (les ressources de calcul qui exécutent vos tâches) en définissant des limites minimales et maximales. Amazon MWAA surveille les travailleurs de votre environnement et utilise son composant de dimensionnement automatique pour ajouter des travailleurs afin de répondre à la demande, jusqu'au nombre maximum que vous avez défini.

  • Built-in authentification  : activez l'authentification et l'autorisation basées sur les rôles pour votre serveur Web Apache Airflow en définissant les politiques de contrôle d'accès dans Gestion des identités et des accès AWS (IAM). Les travailleurs d'Apache Airflow appliquent ces politiques pour sécuriser l'accès aux AWS services.

  • Built-in sécurité  : les workers et les planificateurs Apache Airflow s'exécutent dans Amazon VPC d'Amazon MWAA. Les données sont également automatiquement cryptées à l'aide de AWS Key Management Service, de sorte que votre environnement est sécurisé par défaut.

  • Modes d'accès public ou privé  : accédez à votre serveur Web Apache Airflow via un mode d'accès privé ou public. Le mode d'accès au réseau public utilise un point de terminaison VPC pour votre serveur Web Apache Airflow accessible via Internet. Le mode d'accès au réseau privé utilise un point de terminaison VPC pour votre serveur Web Apache Airflow qui est accessible depuis votre VPC. Dans les deux cas, l'accès de vos utilisateurs d'Apache Airflow est contrôlé par la politique de contrôle d'accès que vous définissez dans Gestion des identités et des accès AWS (IAM) et AWS SSO.

  • Mises à niveau et correctifs simplifiés  : Amazon MWAA propose régulièrement de nouvelles versions d'Apache Airflow. L'équipe Amazon MWAA mettra à jour et corrigera les images pour ces versions.

  • Surveillance des flux de travail  : accédez aux journaux d'Apache Airflow et aux métriques d'Apache Airflow dans Amazon CloudWatch pour identifier les retards ou les erreurs de flux de travail d'Apache Airflow sans avoir besoin d'outils tiers supplémentaires. Amazon MWAA envoie automatiquement des métriques d'environnement et, si cette option est activée, des journaux Apache Airflow à. CloudWatch

  • AWS intégration  : Amazon MWAA prend en charge les intégrations open source avec Amazon Athena, Amazon AWS Batch CloudWatch, Amazon DynamoDB, Amazon EMR AWS DataSync, Amazon EKS AWS Fargate, Amazon Data Firehose,, Amazon Redshift, Amazon SQS AWS Glue AWS Lambda, Amazon SNS, Amazon SageMaker AI et Amazon S3, ainsi que des centaines d'opérateurs et de capteurs intégrés et créés par la communauté.

  • Flottes de travailleurs  : Amazon MWAA propose une assistance pour l'utilisation de conteneurs afin de faire évoluer le parc de travailleurs à la demande et de réduire les interruptions de programmation à l'aide d'Amazon ECS activé. AWS Fargate Les opérateurs qui invoquent des tâches sur des conteneurs Amazon ECS et les opérateurs Kubernetes qui créent et exécutent des pods sur un cluster Kubernetes sont pris en charge.

Architecture

Tous les composants contenus dans l'emballage extérieur (dans l'image suivante) sont présentés sous la forme d'un environnement Amazon MWAA unique dans votre compte. Le planificateur et les outils de travail Apache Airflow sont AWS Fargate des conteneurs qui se connectent aux sous-réseaux privés d'Amazon VPC de votre environnement. Chaque environnement possède sa propre base de métadonnées Apache Airflow gérée par AWS laquelle le planificateur et les utilisateurs peuvent accéder aux conteneurs Fargate via un point de terminaison VPC privé sécurisé.

Amazon CloudWatch, Amazon S3, Amazon SQS et Amazon AWS KMS sont distincts d'Amazon MWAA et doivent être accessibles depuis les planificateurs et les opérateurs Apache Airflow dans les conteneurs Fargate. Plusieurs planificateurs Apache Airflow ne sont disponibles qu'avec Apache Airflow v2 et versions ultérieures. Pour en savoir plus sur le cycle de vie des tâches d'Apache Airflow, consultez la section Concepts du guide de référence Apache Airflow.

Le serveur Web Apache Airflow est accessible soit via Internet en sélectionnant le mode d'accès Apache Airflow au réseau public, soit depuis votre VPC en sélectionnant le mode d'accès au réseau privé Apache Airflow. Dans les deux cas, l'accès de vos utilisateurs d'Apache Airflow est contrôlé par la politique de contrôle d'accès que vous définissez dans Gestion des identités et des accès AWS (IAM).

Note

À partir d'Apache Airflow v3, le serveur Web Amazon MWAA héberge également le serveur API d'exécution d'Apache Airflow.

L'architecture d'un environnement Amazon MWAA.

Integration

La communauté open source Apache Airflow, active et croissante, fournit des opérateurs (plugins qui simplifient les connexions aux services) permettant à Apache Airflow de s'intégrer aux services. AWS Cela inclut des services tels qu'Amazon S3, Amazon Redshift, Amazon EMR et Amazon SageMaker AI AWS Batch, ainsi que des services sur d'autres plateformes cloud.

L'utilisation d'Apache Airflow avec Amazon MWAA permet entièrement l'intégration avec AWS des services et des outils tiers populaires tels qu'Apache Hadoop, Presto, Hive et Spark pour effectuer des tâches de traitement des données. Amazon MWAA s'engage à maintenir la compatibilité avec l'API Apache Airflow, et Amazon MWAA a l'intention de fournir des intégrations fiables aux AWS services et de les mettre à la disposition de la communauté, et de participer au développement de fonctionnalités communautaires.

Pour un exemple de code, reportez-vous àExemples de code pour Amazon Managed Workflows pour Apache Airflow.

Versions prises en charge

Amazon MWAA prend en charge plusieurs versions d'Apache Airflow. Pour plus d'informations sur les versions d'Apache Airflow que nous prenons en charge et sur les composants Apache Airflow inclus dans chaque version, consultez. Versions Apache Airflow sur Amazon Managed Workflows for Apache Airflow

Quelle est la prochaine étape ?