Solución de problemas: DAG, operadores, conexiones y otros problemas

Aprenda a crear claves secretas para su conexión y variables de Apache Airflow en Configuración de una conexión Apache Airflow mediante un AWS Secrets Manager secreta.

Aprenda a usar la clave secreta para una variable de Apache Airflow (test-variable) en Uso de una clave secreta en AWS Secrets Manager para una variable de Apache Airflow.

Aprenda a usar la clave secreta para una conexión de Apache Airflow (myconn) en Uso de una clave secreta en AWS Secrets Manager para una conexión de Apache Airflow.

Pruebe sus DAG, complementos personalizados y dependencias de Python de forma local con aws-mwaa-docker-images on. https://github.com/aws/amazon-mwaa-docker-images GitHub

Agregue las siguientes entradas al archivo requirements.txt de su entorno.

apache-airflow-providers-snowflake==1.3.0

Añada las siguientes importaciones al DAG:

from airflow.providers.snowflake.operators.snowflake import SnowflakeOperator

ID de conexión: snowflake_conn

Tipo de conexión: Snowflake

Host: <my account> <my region if not us-west-2>.snowflakecomputing.com

Esquema: <my schema>

Inicio de sesión: <my user name>

Contraseña: ********

Puerto: <port, if any>

Extra:

{
    "account": "<my account>",
    "warehouse": "<my warehouse>",
    "database": "<my database>",
    "region": "<my region if not using us-west-2 otherwise omit this line>"
}

Consulte los tipos de conexión que proporciona Amazon MWAA en la UI de Apache Airflow en Paquetes de proveedores de Apache Airflow instalados en entornos Amazon MWAA.

Consulte los comandos para crear una conexión de Apache Airflow en la CLI de Referencia de los comandos de la CLI de Apache Airflow.

Aprenda a utilizar las plantillas de conexión de la interfaz de usuario de Apache Airflow indistintamente para los tipos de conexión que no están disponibles en la interfaz de usuario de Apache Airflow en Amazon MWAA de Información general sobre los tipos de conexión.

Compruebe las opciones de configuración de Apache Airflow. Verifique que los pares clave-valor que especificó como una opción de configuración de Apache Airflow, por ejemplo, estén configurados correctamente. AWS Secrets Manager Consulte No puedo conectarme a Secrets Manager para obtener más información.

Compruebe los requirements.txt. Compruebe que el paquete “extras” de Airflow y las demás bibliotecas que figuran en su requirements.txt sean compatibles con su versión de Apache Airflow.

Considere otras formas de especificar las dependencias de Python en un archivo requirements.txt, que se detallan en Administración de las dependencias de Python en requirements.txt.

Confirme que su grupo de seguridad de VPC permita el acceso entrante al puerto 5432. Este puerto es necesario para conectarse a la base de datos de metadatos de PostgreSQL de Amazon Aurora de su entorno. Tras añadir esta regla, dé unos minutos a Amazon MWAA y el error desaparecerá. Consulte Seguridad en la VPC en Amazon MWAA para obtener más información.

Si el programador no se está ejecutando, podría deberse a varios factores, como errores en la instalación de las dependencias o a una sobrecarga del programador. Confirme que sus DAG, complementos y requisitos funcionan correctamente accediendo a los grupos de registros correspondientes en CloudWatch los registros. Consulte Monitorización y métricas de Amazon Managed Workflows para Apache Airflow para obtener más información.

Es posible que haya definido una gran cantidad de DAG. Reduzca el número de DAG y actualice el entorno (por ejemplo, cambiando el nivel de registro) para forzar un restablecimiento.

1. Airflow analiza los DAG independientemente de si están activados o no. Si usa más del 50 % de la capacidad de su entorno, puede que el programador de Apache Airflow empiece a sobrecargarse. Esto se traduce en un tiempo total de análisis elevado en CloudWatch las métricas o en tiempos prolongados de procesamiento de los DAG en CloudWatch los registros. Hay otras formas de optimizar las configuraciones de Apache Airflow que no se tratan en esta guía.

2. Para obtener más información sobre las prácticas recomendadas para ajustar el rendimiento de su entorno, consulte Ajuste del desempeño de Apache Airflow en Amazon MWAA.

Es posible que haya una gran cantidad de tareas en la cola. Esto suele mostrarse como un número elevado (y creciente) de tareas en el None estado, o como un número elevado en un país. Queued Tasks and/or Tasks Pending CloudWatch Esto puede producirse por varias razones:

1. Si hay más tareas que ejecutar de las que el entorno tiene la capacidad de ejecutar, and/or una gran cantidad de tareas que estaban en cola antes del escalado automático tienen tiempo de detectar las tareas e implementar más trabajadores.

2. Si hay más tareas que ejecutar de las que puede ejecutar un entorno, recomendamos reducir la cantidad de tareas que los DAG ejecutan simultáneamente y and/or aumentar el número mínimo de trabajadores de Apache Airflow.

3. Si hay una gran cantidad de tareas en cola antes de que el ajuste de escala automático haya podido detectar e implementar más trabajadores, recomendamos escalonar el despliegue de las tareas y and/or aumentar el número mínimo de trabajadores de Apache Airflow.

4. Puedes usar el comando update-environment de AWS Command Line Interface (AWS CLI) para cambiar el número mínimo o máximo de trabajadores que se ejecutan en tu entorno.

   aws mwaa update-environment --name MyEnvironmentName --min-workers 2 --max-workers 10

5. Para obtener más información sobre las prácticas recomendadas para ajustar el rendimiento de su entorno, consulte Ajuste del desempeño de Apache Airflow en Amazon MWAA.

Si sus tareas están bloqueadas en el estado “en ejecución”, también puede borrarlas o marcarlas como ejecutadas o fallidas. Esto permite que el componente de escalado automático de su entorno reduzca verticalmente la cantidad de procesos de trabajo que trabajan en su entorno. En la siguiente imagen, se muestra un ejemplo de tarea pendiente.

1. Elija el círculo para la tarea pendiente y, a continuación, seleccione Borrar como se muestra. Esto permite a Amazon MWAA reducir verticalmente el número de procesos de trabajo; de lo contrario, Amazon MWAA no puede determinar qué DAG están activados o desactivados, ni puede reducirlos verticalmente si todavía hay tareas pendientes.

   

Para más información sobre el ciclo de vida de las tareas de Apache Airflow en Conceptos, consulte la guía de referencia de Apache Airflow.

Pon a prueba tus DAG, complementos personalizados y dependencias de Python de forma local con aws-mwaa-docker-images on. https://github.com/aws/amazon-mwaa-docker-images GitHub

Cree su script de transformación.

#!/bin/bash
cp $1 $2

(Opcional) Es posible que los usuarios de macOS y Linux tengan que ejecutar el comando siguiente para asegurarse de que el script sea ejecutable.

chmod 777 transform_test.sh

Añada el script a su plugins.zip.

zip plugins.zip transform_test.sh

Siga los pasos que se indican en Carga del archivo plugins.zip a Amazon S3.

Siga los pasos que se indican en Especificación de la versión de plugins.zip en la consola de Amazon MWAA.

Utilice los siguientes DAG.

from airflow import DAG
from airflow.providers.amazon.aws.operators.s3_file_transform import S3FileTransformOperator
from airflow.utils.dates import days_ago
import os

DAG_ID = os.path.basename(__file__).replace(".py", "")

with DAG (dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
    file_transform = S3FileTransformOperator(
        task_id='file_transform',
        transform_script='/usr/local/airflow/plugins/transform_test.sh',
        source_s3_key='s3://amzn-s3-demo-bucket/files/input.txt',
        dest_s3_key='s3://amzn-s3-demo-bucket/files/output.txt'
    )

Siga los pasos que se indican en Carga del código del DAG a Amazon S3.