Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
¿Qué es Amazon Managed Workflows para Apache Airflow?
Use Amazon Managed Workflows para Apache Airflow, un servicio administrado para Apache Airflow
Con Amazon MWAA, puede usar Apache Airflow y Python para crear flujos de trabajo sin tener que administrar la infraestructura subyacente para conseguir escalabilidad, disponibilidad y seguridad. Amazon MWAA se escala automáticamente para adaptarse a sus necesidades de flujo de trabajo. Se integra con los servicios de AWS seguridad para proporcionar un acceso rápido y seguro a sus datos.
Características
Consulte las siguientes características para obtener información sobre cómo Amazon MWAA puede simplificar la administración de sus flujos de trabajo de Apache Airflow.
-
Configuración automática de Airflow: configure rápidamente Apache Airflow eligiendo una versión de Apache Airflow al crear un entorno de Amazon MWAA. Amazon MWAA configura Apache Airflow mediante la misma interfaz de usuario de Apache Airflow y el mismo código abierto que puede descargar de Internet.
-
Escalado automático: escale automáticamente los procesos de trabajo de Apache Airflow (los recursos informáticos que ejecutan sus tareas) fijando límites mínimos y máximos. Amazon MWAA supervisa los procesos de trabajo de su entorno y usa su componente de escalado automático para añadir procesos de trabajo con el objetivo de satisfacer la demanda, hasta alcanzar el número máximo de procesos de trabajo que se haya definido.
-
Built-in autenticación: habilite la autenticación y la autorización basadas en roles para su servidor web Apache Airflow definiendo las políticas de control de acceso en AWS Identity and Access Management (IAM). Los trabajadores de Apache Airflow asumen estas políticas para garantizar un acceso seguro a los servicios. AWS
-
Built-in seguridad: los programadores y trabajadores de Apache Airflow se ejecutan en Amazon VPC de Amazon MWAA. Los datos también se cifran automáticamente AWS Key Management Service, por lo que su entorno es seguro de forma predeterminada.
-
Modos de acceso público o privado: acceda a su servidor web de Apache Airflow mediante un modo de acceso público o privado. El modo de acceso a la red pública usa un punto de conexión de VPC para el servidor web de Apache Airflow al que se puede acceder a través de Internet. El modo de acceso a la red privada usa un punto de conexión de VPC para el servidor web de Apache Airflow al que se puede acceder a través de su VPC. En ambos casos, el acceso de los usuarios de Apache Airflow se controla mediante la política de control de acceso que defina en AWS Identity and Access Management (IAM) y AWS el SSO.
-
Actualizaciones y revisiones simplificadas: Amazon MWAA proporciona nuevas versiones de Apache Airflow periódicamente. El equipo de Amazon MWAA actualizará y revisará las imágenes de estas versiones.
-
Supervisión del flujo de trabajo: acceda a los registros de Apache Airflow y a las métricas de Apache Airflow en Amazon CloudWatch para identificar los retrasos en las tareas o los errores del flujo de trabajo de Apache Airflow sin necesidad de utilizar herramientas adicionales de terceros. Amazon MWAA envía automáticamente las métricas del entorno y, si están habilitadas, los registros de Apache Airflow a. CloudWatch
-
AWS integración: Amazon MWAA admite integraciones de código abierto con Amazon Athena, Amazon, Amazon DynamoDB AWS Batch, Amazon EMR CloudWatch, Amazon EKS, Amazon Data Firehose AWS DataSync, Amazon Redshift AWS Fargate, Amazon SQS, Amazon SNS, Amazon AI y Amazon S3 AWS Glue AWS Lambda, así como con cientos de operadores y sensores integrados y creados por la comunidad. SageMaker
-
Flotas de procesos de trabajo: Amazon MWAA ofrece soporte para el uso de contenedores para ampliar la flota de procesos de trabajo bajo demanda y reducir la caída de programadores mediante Amazon ECS en AWS Fargate. Se admiten operadores que invoquen tareas en los contenedores de Amazon ECS y operadores de Kubernetes que creen y ejecuten pods en un clúster de Kubernetes.
Arquitectura
Todos los componentes incluidos en el cuadro exterior (en la imagen siguiente) aparecen como un único entorno de Amazon MWAA en su cuenta. El programador y los trabajadores de Apache Airflow son AWS Fargate contenedores que se conectan a las subredes privadas de la Amazon VPC de su entorno. Cada entorno tiene su propia base de metadatos de Apache Airflow, gestionada por ella, a la AWS que pueden acceder el programador y los contenedores Fargate de los trabajadores a través de un punto final de VPC protegido de forma privada.
Amazon CloudWatch, Amazon S3, Amazon SQS y Amazon AWS KMS son independientes de Amazon MWAA y es necesario que los programadores de Apache Airflow y los trabajadores de los contenedores de Fargate puedan acceder a ellos. Hay disponibles varios programadores de Apache Airflow solo en Apache Airflow v2 y versiones posteriores. Para más información sobre el ciclo de vida de las tareas de Apache Airflow en Conceptos
Se puede acceder al servidor web de Apache Airflow a través de Internet seleccionando el modo de acceso red pública de Apache Airflow o desde dentro de su VPC seleccionando el modo de acceso red privada de Apache Airflow. En ambos casos, el acceso de los usuarios de Apache Airflow se controla mediante la política de control de acceso que defina en (IAM). AWS Identity and Access Management
nota
A partir de Apache Airflow v3, el servidor web Amazon MWAA también aloja el servidor API de ejecución de Apache Airflow.
Integración
La activa y creciente comunidad de código abierto Apache Airflow proporciona operadores (complementos que simplifican las conexiones a los servicios) para que Apache Airflow se integre con los servicios. AWS Esto incluye servicios como Amazon S3, Amazon Redshift, Amazon EMR y Amazon SageMaker AI AWS Batch, así como servicios en otras plataformas en la nube.
El uso de Apache Airflow con Amazon MWAA es totalmente compatible con la integración con AWS servicios y herramientas populares de terceros, como Apache Hadoop, Presto, Hive y Spark, para realizar tareas de procesamiento de datos. Amazon MWAA se compromete a mantener la compatibilidad con la API Apache Airflow, y tiene la intención de ofrecer integraciones fiables de los AWS servicios y ponerlos a disposición de la comunidad, además de participar en el desarrollo de funciones comunitarias.
Para ver un ejemplo de código, consulte Códigos de ejemplo de Amazon Managed Workflows para Apache Airflow.
Versiones compatibles
Amazon MWAA admite varias versiones de Apache Airflow. Para obtener más información sobre las versiones de Apache Airflow que admitimos y los componentes de Apache Airflow incluidos en cada versión, consulte Versiones de Apache Airflow en Amazon Managed Workflows para Apache Airflow.
Siguientes pasos
-
Comience con una CloudFormation plantilla única que cree un bucket de Amazon S3 para sus DAG de Airflow y los archivos auxiliares, una Amazon VPC con enrutamiento público y un entorno Amazon MWAA en. Tutorial de inicio rápido de Amazon Managed Workflows para Apache Airflow
-
Introducción a la creación gradual de un bucket de Amazon S3 para sus DAG y archivos auxiliares de Airflow, eligiendo una de las tres opciones de red de Amazon VPC, y de un entorno de Amazon MWAA en Introducción a Amazon Managed Workflows para Apache Airflow.
