Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Utilice Amazon Managed Workflows para Apache Airflow, un servicio de orquestación gestionado para Apache Airflow
Con Amazon MWAA, puede usar Apache Airflow y Python para crear flujos de trabajo sin tener que administrar la infraestructura subyacente para conseguir escalabilidad, disponibilidad y seguridad. Amazon MWAA escala automáticamente la capacidad de ejecución de sus flujos de trabajo para satisfacer sus necesidades y se integra con los servicios de AWS seguridad para proporcionarle un acceso rápido y seguro a sus datos.
Características
Consulte las siguientes funciones para obtener información sobre cómo Amazon MWAA puede simplificar la administración de sus flujos de trabajo de Apache Airflow.
-
Configuración automática de Airflow: configure rápidamente Apache Airflow mediante la elección de una versión de Apache Airflow al crear un entorno de Amazon MWAA. Amazon MWAA configura Apache Airflow automáticamente mediante la misma interfaz de usuario de Apache Airflow y el mismo código abierto que puede descargar de Internet.
-
Escalado automático: escale automáticamente los procesos de trabajo de Apache Airflow estableciendo el número mínimo y máximo de procesos de trabajo que se ejecutan en su entorno. Amazon MWAA supervisa los procesos de trabajo de su entorno y utiliza su componente de escalado automático para añadir procesos de trabajo con el objetivo de satisfacer la demanda, hasta alcanzar el número máximo de procesos de trabajo que usted haya definido.
-
Autenticación integrada: habilite la autenticación y la autorización basadas en funciones para su servidor web Apache Airflow definiendo las políticas de control de acceso en (IAM). AWS Identity and Access Management Los trabajadores de Apache Airflow asumen estas políticas para garantizar el acceso a los servicios. AWS
-
Seguridad integrada: los programadores y procesos de trabajo de Apache Airflow se ejecutan en Amazon VPC de Amazon MWAA. Los datos también se cifran automáticamente mediante AWS Key Management Service, por lo que su entorno es seguro de forma predeterminada.
-
Modos de acceso público o privado: acceda a su servidor web de Apache Airflow mediante un modo de acceso público o privado. El modo de acceso a la red pública utiliza un punto de conexión de VPC para el servidor web de Apache Airflow al que se puede acceder a través de Internet. El modo de acceso a la red privada utiliza un punto de conexión de VPC para el servidor web de Apache Airflow al que se puede acceder a través de su VPC. En ambos casos, el acceso de los usuarios de Apache Airflow se controla mediante la política de control de acceso que defina en AWS Identity and Access Management (IAM) y AWS en el SSO.
-
Actualizaciones y revisiones simplificadas: Amazon MWAA proporciona nuevas versiones de Apache Airflow periódicamente. El equipo de Amazon MWAA actualizará y revisará las imágenes de estas versiones.
-
Supervisión del flujo de trabajo: consulta los registros de Apache Airflow y las métricas de Apache Airflow en Amazon CloudWatch para identificar los retrasos en las tareas de Apache Airflow o los errores en el flujo de trabajo sin necesidad de utilizar herramientas adicionales de terceros. Amazon MWAA envía automáticamente las métricas del entorno y, si están habilitadas, los registros de Apache Airflow a. CloudWatch
-
AWS integración: Amazon MWAA admite integraciones de código abierto con Amazon Athena, Amazon AWS Batch, Amazon DynamoDB, CloudWatch Amazon AWS DataSync EMR, Amazon EKS, Amazon Data Firehose, AWS Fargate Amazon AWS Glue AWS Lambda Redshift, Amazon SQS, Amazon SNS, Amazon AI y Amazon S3, así como cientos de componentes integrados y comunitarios creó operadores y SageMaker sensores.
-
Flotas de procesos de trabajo: Amazon MWAA ofrece soporte para el uso de contenedores para ampliar la flota de procesos de trabajo bajo demanda y reducir la caída de programadores mediante Amazon ECS en AWS Fargate. Se admiten operadores que invoquen tareas en los contenedores de Amazon ECS y operadores de Kubernetes que creen y ejecuten pods en un clúster de Kubernetes.
Arquitectura
Todos los componentes incluidos en el cuadro exterior (en la imagen siguiente) aparecen como un único entorno de Amazon MWAA en su cuenta. Apache Airflow Scheduler y Workers son AWS Fargate contenedores que se conectan a las subredes privadas de la Amazon VPC de su entorno. Cada entorno tiene su propia base de metadatos de Apache Airflow gestionada por la AWS que pueden acceder los contenedores Scheduler y Workers Fargate a través de un punto final de VPC protegido de forma privada.
Amazon CloudWatch, Amazon S3, Amazon SQS y Amazon AWS KMS son independientes de Amazon MWAA y se debe poder acceder a ellos desde los planificadores de flujo de aire de Apache y los contenedores Workers in the Fargate.
Se puede acceder al servidor web de Apache Airflow a través de Internet seleccionando el modo de acceso red pública de Apache Airflow o desde dentro de su VPC seleccionando el modo de acceso red privada de Apache Airflow. En ambos casos, el acceso de los usuarios de Apache Airflow se controla mediante la política de control de acceso que defina en (IAM). AWS Identity and Access Management
nota
Solo en Apache Airflow v2 y versiones posteriores hay disponibles varios programadores de Apache Airflow. Para más información sobre el ciclo de vida de las tareas de Apache Airflow en Conceptos
Integración
La activa y creciente comunidad de código abierto de Apache Airflow proporciona operadores (complementos que simplifican las conexiones a los servicios) para que Apache Airflow se integre con los servicios. AWS Esto incluye servicios como Amazon S3, Amazon Redshift, Amazon EMR AWS Batch y Amazon SageMaker AI, así como servicios en otras plataformas en la nube.
El uso de Apache Airflow con Amazon MWAA es totalmente compatible con AWS servicios y herramientas populares de terceros, como Apache Hadoop, Presto, Hive y Spark, para realizar tareas de procesamiento de datos. Amazon MWAA se compromete a mantener la compatibilidad con la API de Apache Airflow, y Amazon MWAA tiene la intención de proporcionar integraciones fiables a los AWS servicios y ponerlos a disposición de la comunidad, además de participar en el desarrollo de funciones de la comunidad.
Para ver el código de muestra, consulte Códigos de ejemplo de Amazon Managed Workflows para Apache Airflow.
Versiones compatibles
Amazon MWAA admite varias versiones de Apache Airflow. Para obtener más información sobre las versiones de Apache Airflow que admitimos y los componentes de Apache Airflow incluidos en cada versión, consulte Versiones de Apache Airflow en Amazon Managed Workflows para Apache Airflow.
Siguientes pasos
-
Comience con una AWS CloudFormation plantilla única que cree un bucket de Amazon S3 para su Airflow DAGs y los archivos auxiliares, una Amazon VPC con enrutamiento público y un entorno Amazon MWAA en. Tutorial de inicio rápido de Amazon Managed Workflows para Apache Airflow
-
Comience de forma gradual creando un bucket de Amazon S3 para su Airflow DAGs y los archivos auxiliares, eligiendo una de las tres opciones de red de Amazon VPC y creando un entorno de Amazon MWAA en. Introducción a Amazon Managed Workflows para Apache Airflow
