Preguntas frecuentes sobre Amazon MWAA

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

En esta página se describen las preguntas más frecuentes que se pueden plantear al utilizar Amazon Managed Workflows para Apache Airflow.

Versiones compatibles

¿Qué es lo que Amazon MWAA admite para Apache Airflow v2?

Para obtener información sobre lo que admite Amazon MWAA, consulte Versiones de Apache Airflow en Amazon Managed Workflows para Apache Airflow.

¿Por qué no se admiten las versiones anteriores de Apache Airflow?

Solo admitimos la última versión de Apache Airflow (a fecha de lanzamiento), Apache Airflow v1.10.12 debido a problemas de seguridad relacionados con las versiones anteriores.

¿Qué versión de Python debo usar?

Las siguientes versiones de Apache Airflow son compatibles con Amazon Managed Workflows para Apache Airflow.

Para más información sobre la migración de sus despliegues autogestionados de Apache Airflow o la migración de un entorno Amazon MWAA existente, incluidas las instrucciones para realizar copias de seguridad de su base de datos de metadatos, consulte la Guía de migración a Amazon MWAA.

¿Qué versión de pip utiliza Amazon MWAA?

Para los entornos que ejecutan Apache Airflow v1.10.12, Amazon MWAA instala la versión de pip 21.1.2.

Para los entornos que ejecutan Apache Airflow v2 y posteriores, Amazon MWAA instala la versión 21.3.1 de pip.

Casos de uso

¿Cuándo debo usar AWS Step Functions vs. ¿Amazon MWA?

Notificaciones del entorno

¿Cuánto espacio de almacenamiento de tareas está disponible en cada entorno?

El almacenamiento de tareas está limitado a 20 GB y especificado por Amazon ECS Fargate 1.4. La cantidad de RAM viene determinada por la clase de entorno que especifique. Para obtener más información sobre las clases de entorno, consulte Configuración de la clase de entorno Amazon MWAA.

¿Cuál es el sistema operativo predeterminado que se utiliza para los entornos de Amazon MWAA?

Los entornos de Amazon MWAA se crean en instancias que ejecutan Amazon Linux 2 para las versiones 2.6 y anteriores, y en instancias que ejecutan Amazon Linux 2023 para las versiones 2.7 y posteriores.

¿Puedo usar una imagen personalizada para mi entorno Amazon MWAA?

Las imágenes personalizadas no son compatibles. Amazon MWAA utiliza imágenes creadas en la AMI de Amazon Linux. Amazon MWAA instala los requisitos adicionales ejecutando pip3 -r install para los requisitos especificados en el archivo requirements.txt que añada al bucket de Amazon S3 para el entorno.

¿Cumple Amazon MWAA con la HIPAA?

Amazon MWAA es elegible para Ley de Portabilidad y Responsabilidad de Seguros Médicos de EE. UU (HIPAA). Si cuenta con un apéndice para socios comerciales (BAA) de la HIPAA, AWS puede utilizar Amazon MWAA para los flujos de trabajo que gestionan la información de salud protegida (PHI) en entornos creados a partir del 14 de noviembre de 2022.

¿Amazon MWAA es compatible con instancias de spot?

Amazon MWAA no admite actualmente los tipos de instancias EC2 puntuales de Amazon bajo demanda para Apache Airflow. Sin embargo, un entorno MWAA de Amazon puede activar instancias puntuales en, por ejemplo, Amazon EMR y Amazon. EC2

¿Amazon MWAA es compatible con un dominio personalizado?

Para poder utilizar un dominio personalizado para el nombre de host de Amazon MWAA, realice una de las siguientes acciones:

¿Puedo usar SSH en mi entorno?

Si bien SSH no es compatible con un entorno Amazon MWAA, es posible utilizar un DAG para ejecutar comandos bash mediante el BashOperator. Por ejemplo:

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
      cli_command = BashOperator(
          task_id="bash_command",
          bash_command="{{ dag_run.conf['command'] }}"
      )

Para activar el DAG en la interfaz de usuario de Apache Airflow, utilice:

{ "command" : "your bash command"}

¿Por qué se requiere una regla de autorreferencia en el grupo de seguridad de VPC?

Si crea una regla de entrada con autorreferencia, puede restringir el origen al mismo grupo de seguridad de la VPC y no está abierto a todas las redes. Para obtener más información, consulte Seguridad en la VPC en Amazon MWAA.

¿Puedo ocultar entornos de diferentes grupos en IAM?

Puede limitar el acceso especificando un nombre de entorno; sin embargo AWS Identity and Access Management, el filtrado de visibilidad no está disponible en la AWS consola; si un usuario puede ver un entorno, podrá ver todos los entornos.

¿Puedo almacenar datos temporales en el proceso de trabajo de Apache Airflow?

Sus operadores de Apache Airflow pueden almacenar datos temporales sobre los procesos de trabajo. Los procesos de trabajo de Apache Airflow pueden acceder a los archivos temporales de /tmp en los contenedores de Fargate de su entorno.

¿Puedo especificar más de 25 procesos de trabajo de Apache Airflow?

Sí. Si bien puede especificar hasta 25 procesos de trabajo de Apache Airflow en la consola de Amazon MWAA, puede configurar hasta 50 en un entorno solicitando un aumento de la cuota. Para obtener más información, consulte Solicitud de un aumento de cuota.

¿Amazon MWAA admite Amazon VPCs o subredes compartidas?

Amazon MWAA no admite Amazon VPCs ni subredes compartidas. La VPC de Amazon que seleccione al crear un entorno debe ser propiedad de la cuenta que intenta crear el entorno. Sin embargo, puede enrutar el tráfico desde una VPC de Amazon de la cuenta de Amazon MWAA a una VPC compartida. Para obtener más información y ver un ejemplo de enrutamiento del tráfico a una VPC de Amazon compartida, consulte Enrutamiento saliente centralizado a Internet en la Guía de pasarelas de tránsito de VPC de Amazon.

¿Puedo crear o integrar colas Amazon SQS personalizadas para gestionar la ejecución de tareas y la organización del flujo de trabajo en Apache Airflow?

No, no puede crear, modificar ni utilizar colas Amazon SQS personalizadas en Amazon MWAA. Esto se debe a que Amazon MWAA aprovisiona y administra automáticamente su propia cola de Amazon SQS para cada entorno de Amazon MWAA.

Métricas

¿Qué métricas se utilizan para determinar si se deben escalar procesos de trabajo?

Amazon MWAA monitorea el QueuedTasksy el interior RunningTasks CloudWatch para determinar si se debe escalar Apache Airflow Workers en su entorno. Para obtener más información, consulte Monitorización y métricas de Amazon Managed Workflows para Apache Airflow.

¿Puedo crear métricas personalizadas en? CloudWatch

No en la CloudWatch consola. Sin embargo, puede crear un DAG que escriba métricas personalizadas CloudWatch. Para obtener más información, consulte Uso de un DAG para escribir métricas personalizadas en CloudWatch.

DAGs, Operadores, conexiones y otras preguntas

¿Puedo usar el PythonVirtualenvOperator?

Amazon MWAA no admite PythonVirtualenvOperator de forma explícita, pero puede crear un complemento personalizado que utilice PythonVirtualenvOperator. Para ver el código de muestra, consulte Creación de un complemento personalizado para Apache Airflow PythonVirtualenvOperator.

¿Cuánto tarda Amazon MWAA en reconocer un nuevo archivo DAG?

DAGs se sincronizan periódicamente desde el bucket de Amazon S3 con su entorno. Si añade un nuevo archivo DAG, Amazon MWAA tardará unos 300 segundos en empezar a utilizar el nuevo archivo. Si actualiza un DAG existente, Amazon MWAA tarda unos 30 segundos en reconocer las actualizaciones.

Estos valores, 300 segundos para las actualizaciones nuevas DAGs y 30 segundos para las actualizaciones de las existentes DAGs, corresponden a las opciones de configuración de Apache Airflow dag_dir_list_interval, respectivamente min_file_process_interval.

¿Por qué Apache Airflow no recoge mi archivo DAG?

Las siguientes son posibles soluciones para este problema:

¿Puedo eliminar un plugins.zip o requirements.txt de un entorno?

Actualmente, no hay forma de eliminar un archivo plugins.zip o requirements.txt de un entorno después de haberlo añadido, pero estamos trabajando para solucionar el problema. Mientras tanto, una solución alternativa es apuntar a un archivo de texto o zip vacío, respectivamente. Para obtener más información, consulte Eliminación de archivos en Amazon S3.

¿Por qué no veo mis complementos en el menú de complementos de administración de Apache Airflow v2.0.2?

Por motivos de seguridad, el servidor web Apache Airflow de Amazon MWAA tiene una salida de red limitada y no instala complementos ni dependencias de Python directamente en el servidor web Apache Airflow para los entornos de la versión 2.0.2. El complemento que se muestra permite a Amazon MWAA autenticar a los usuarios de Apache Airflow en AWS Identity and Access Management (IAM).

Para poder instalar complementos y dependencias de Python directamente en el servidor web, recomendamos crear un nuevo entorno con Apache Airflow v2.2 y versiones posteriores. Amazon MWAA instala las dependencias de Python y los complementos personalizados directamente en el servidor web para Apache Airflow v2.2 y versiones posteriores.

¿Puedo usar los operadores del AWS Database Migration Service (DMS)?

Amazon MWAA es compatible con los operadores de DMS. Sin embargo, este operador no se puede utilizar para realizar acciones en la base de datos de metadatos de Amazon Aurora PostgreSQL asociada a un entorno Amazon MWAA.

Cuando accedo a la API REST de Airflow con las AWS credenciales, ¿puedo aumentar el límite de limitación a más de 10 transacciones por segundo (TPS)?

Sí, puede. Para aumentar la limitación, póngase en contacto con el servicio de atención al cliente de AWS.