Explore la arquitectura de red de Amazon MWAA
En la siguiente sección, se describen los componentes principales que forman un entorno de Amazon MWAA y el conjunto de servicios de AWS con los que se integra cada entorno para administrar sus recursos, mantener sus datos seguros y proporcionar supervisión y visibilidad a sus flujos de trabajo.
Componentes de Amazon MWAA
Los entornos de Amazon MWAA están formados por los siguientes cuatro componentes principales:
-
Programador: analiza y monitorea todos sus DAG y pone en cola las tareas para que se ejecuten cuando se cumplan las dependencias de un DAG. Amazon MWAA implementa el programador como un clúster de AWS Fargate con un mínimo de 2 programadores. Puede aumentar el número de programadores hasta cinco, en función de su carga de trabajo. Para obtener más información sobre las clases de entorno de Amazon MWAA, consulte Clases de entornos de Amazon MWAA.
-
Trabajadores: una o varias tareas de Fargate que ejecutan las tareas programadas. La cantidad de procesos de trabajo del entorno viene determinada por un rango entre el número mínimo y el máximo que especifique. Amazon MWAA comienza a realizar un escalado automático de los procesos de trabajo cuando el número de tareas en cola y en ejecución es superior al que pueden gestionar sus procesos de trabajo actuales. Cuando las tareas en ejecución y en cola suman cero durante más de dos minutos, Amazon MWAA reduce el número de procesos de trabajo al mínimo. Para obtener más información sobre cómo gestiona Amazon MWAA el escalado automático de procesos de trabajo, consulte Escalado automático de Amazon MWAA.
-
Servidor web: ejecuta la interfaz de usuario web de Apache Airflow. Puede configurar el servidor web con acceso a la red pública o privada. En ambos casos, el acceso a los usuarios de Apache Airflow se controla mediante la política de control de acceso que se defina en AWS Identity and Access Management (IAM). Para obtener más información sobre la configuración de las políticas de acceso de IAM para su entorno, consulte Acceso a un entorno de Amazon MWAA.
-
Base de datos: almacena metadatos sobre el entorno de Apache Airflow y sus flujos de trabajo, incluido el historial de ejecución de DAG. La base de datos es una base de datos basada en Aurora PostgreSQL de un único inquilino administrada por AWS, y a la que pueden acceder los contenedores de Fargate de los programadores y los procesos de trabajo a través de un punto de conexión de Amazon VPC protegido de forma privada.
Cada entorno de Amazon MWAA interactúa, además, con un conjunto de servicios de AWS con el fin de gestionar diversas tareas, como almacenar los DAG y las dependencias de las tareas y acceder a ellos, proteger los datos en reposo, y registrar y supervisar el entorno. En el siguiente diagrama se muestran los diferentes componentes de un entorno de Amazon MWAA.
nota
El servicio Amazon VPC no es una VPC compartida. Amazon MWAA crea una VPC propiedad de AWS para cada entorno que cree.
-
Amazon S3: Amazon MWAA almacena todos los recursos de su flujo de trabajo, como los DAG, los requisitos y los archivos de complementos, en un bucket de Amazon S3. Para obtener más información sobre la creación del bucket como parte de la creación del entorno y sobre la carga de sus recursos de Amazon MWAA, consulte Creación de un bucket de Amazon S3 para Amazon MWAA en la Guía del usuario de Amazon MWAA.
-
Amazon SQS: Amazon MWAA utiliza Amazon SQS para poner en cola las tareas del flujo de trabajo con un ejecutor de Celery
. -
Amazon ECR: todas las imágenes de Apache Airflow se alojan en Amazon ECR. Amazon MWAA solo admite imágenes administradas por AWS de Apache Airflow.
-
AWS KMS: Amazon MWAA utiliza AWS KMS para garantizar que sus datos estén seguros en reposo. De forma predeterminada, Amazon MWAA usa claves AWS KMS administradas por AWS, pero puede configurar su entorno para que use su propia clave AWS KMS administrada por el cliente. Para obtener más información sobre el uso de su propia clave AWS KMS administrada por el cliente, consulte Claves administradas por el cliente para el cifrado de datos en la Guía del usuario de Amazon MWAA.
-
CloudWatch: Amazon MWAA se integra con CloudWatch y proporciona registros de Apache Airflow y métricas del entorno a CloudWatch, lo que le permite supervisar sus recursos de Amazon MWAA y solucionar problemas.
Conectividad
Su entorno de Amazon MWAA necesita acceder a todos los servicios de AWScon los que se integra. El rol de ejecución de Amazon MWAA controla la forma en que se concede el acceso a Amazon MWAA para conectarse a otros servicios de AWS en su nombre. Para la conectividad de red, puede proporcionar acceso público a Internet a su Amazon VPC o crear puntos de conexión de Amazon VPC. Para obtener más información sobre la configuración de los puntos de conexión de Amazon VPC (AWS PrivateLink) para su entorno, consulte Administración del acceso a los puntos de conexión de VPC en Amazon MWAA en la Guía del usuario de Amazon MWAA.
Amazon MWAA instala los requisitos en el programador y en el proceso de trabajo. Si sus requisitos provienen de un repositorio público PyPi.whl como complementos personalizados para su entorno.
Al configurar Apache Airflow en modo privado, su Amazon VPC solo puede acceder a la interfaz de usuario de Apache Airflow a través de los puntos de conexión de Amazon VPC.
Para obtener información sobre ACL de red, consulte ACL de red en la Guía del usuario de Amazon VPC.
