Añadir o actualizar DAG - Amazon Managed Workflows para Apache Airflow
Requisitos previosCómo funciona¿Qué ha cambiado en la versión 2?Pruebas de los DAG mediante la utilidad de la CLI de Amazon MWAACargar el código DAG en Amazon S3Especificar la ruta a una carpeta DAGVisualización de cambios en la interfaz de usuario de Apache AirflowSiguientes pasos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Añadir o actualizar DAG

Los gráficos acíclicos dirigidos (DAG) se definen dentro de un archivo de Python que define la estructura del DAG como código. Para cargar DAG en su entorno, puede utilizar AWS CLI o la consola de Amazon S3. En esta página se describen los pasos para añadir o actualizar los DAG de Apache Airflow en su entorno de Amazon Managed Workflows para Apache Airflow mediante la carpeta dags de su bucket de Amazon S3.

Requisitos previos

Para poder llevar a cabo los pasos de esta página, necesitará lo siguiente.

  • Permisos: el administrador debe haber concedido a su cuenta AWS acceso a la política de control de acceso de AmazonMWAAFullConsoleAccess para su entorno. Además, su rol de ejecución debe permitir que su entorno de Amazon MWAA acceda a los recursos de AWS que utiliza su entorno.

  • Acceso: si tiene que acceder a los repositorios públicos para instalar dependencias directamente en el servidor web, su entorno debe estar configurado con acceso a un servidor web de red pública. Para obtener más información, consulte Modos de acceso de Apache Airflow.

  • Configuración de Amazon S3: el bucket de Amazon S3 que se utiliza para almacenar los DAG, los complementos personalizados en plugins.zip y las dependencias de Python en requirements.txt deben estar configurados con el acceso público bloqueado y el control de versiones activado.

Cómo funciona

Un gráfico acíclico dirigido (DAG) se define dentro de un archivo de Python que define la estructura del DAG como código. Consta de lo siguiente:

Para ejecutar una plataforma Apache Airflow en un entorno Amazon MWAA, debe copiar la definición del DAG en la carpeta dags del bucket de almacenamiento. Por ejemplo, la carpeta DAG de su bucket de almacenamiento puede tener este aspecto:

ejemplo Carpeta de DAG
dags/
└ dag_def.py

Amazon MWAA sincroniza automáticamente los objetos nuevos y modificados de su bucket de Amazon S3 con la carpeta /usr/local/airflow/dags del programador y los contenedores de trabajo de Amazon MWAA cada 30 segundos, lo que preserva la jerarquía de archivos de la fuente de Amazon S3, independientemente del tipo de archivo. El tiempo que tardan los nuevos DAG en aparecer en la interfaz de usuario de Apache Airflow depende del tiempo lo controla scheduler.dag_dir_list_interval. Los cambios en los DAG existentes se recogerán en el siguiente ciclo de procesamiento de los DAG.

nota

No es necesario incluir el archivo de configuración airflow.cfg en la carpeta del DAG. Puede anular las configuraciones predeterminadas de Apache Airflow desde la consola de Amazon MWAA. Para obtener más información, consulte Uso de las opciones de configuración de Apache Airflow en Amazon MWAA.

¿Qué ha cambiado en la versión 2?

  • Nuevo: operadores, enlaces y ejecutores. Las instrucciones de importación de sus DAG y los complementos personalizados que especifica en un plugins.zip en Amazon MWAA han cambiado entre Apache Airflow v1 y Apache Airflow v2. Por ejemplo, from airflow.contrib.hooks.aws_hook import AwsHook en la v1 de Apache Airflow ha cambiado a from airflow.providers.amazon.aws.hooks.base_aws import AwsBaseHook en la versión 2 de Apache Airflow. Para obtener más información, consulte la Referencia de la API de Python en la guía de referencia de Apache Airflow.

Pruebas de los DAG mediante la utilidad de la CLI de Amazon MWAA

  • La utilidad de la interfaz de la línea de comandos (CLI) replica entornos en Amazon Managed Workflows for Apache Airflow de forma local.

  • La CLI crea localmente una imagen de contenedor de Docker similar a una imagen de producción de Amazon MWAA. Esto le permite ejecutar un entorno local de Apache Airflow para desarrollar y probar los DAG, los complementos personalizados y las dependencias antes de implementarlos en Amazon MWAA.

  • Para ejecutar la CLI, consulte aws-mwaa-local-runner en GitHub.

Cargar el código DAG en Amazon S3

Puede usar la consola de Amazon S3 o AWS Command Line Interface (AWS CLI) para cargar un código DAG a su bucket de Amazon S3. En los siguientes pasos se supone que está cargando el código (.py) a una carpeta con el nombre dags en su bucket de Amazon S3.

Utilización de la AWS CLI

La AWS Command Line Interface (AWS CLI) es una herramienta de código abierto que le permite interactuar con los servicios de AWS mediante el uso de comandos en el shell de la línea de comandos. Para completar los pasos de esta página, necesita lo siguiente:

Para cargar mediante el AWS CLI

  1. Use el siguiente comando para obtener una lista de todos los buckets de Amazon S3.

    aws s3 ls

  2. Utilice el comando siguiente para enumerar los archivos y las carpetas del bucket de Amazon S3 para su entorno.

    aws s3 ls s3://YOUR_S3_BUCKET_NAME

  3. El siguiente comando carga el archivo dag_def.py en una carpeta dags. 

    aws s3 cp dag_def.py s3://YOUR_S3_BUCKET_NAME/dags/

    Si aún no existe una carpeta con el nombre dags en su bucket de Amazon S3, este comando crea la carpeta dags y carga el archivo con el nombre dag_def.py en la nueva carpeta.

Uso de la consola de Amazon S3

La consola de Amazon S3 es una interfaz de usuario basada en la web que le permite crear y administrar los recursos de su bucket de Amazon S3. En los siguientes pasos se supone que tiene una carpeta DAG denominada dags.

Para cargar el contenido usando la consola de Amazon S3

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Seleccione el enlace del bucket S3 en el panel de códigos de DAG en S3 para abrir el bucket de almacenamiento en la consola de Amazon S3.

  4. Elija la carpeta dags.

  5. Seleccione Upload (Cargar).

  6. Elija Añadir archivo.

  7. Seleccione la copia local de su dag_def.py, elija Cargar.

Especificar la ruta a su carpeta DAG en la consola Amazon MWAA (la primera vez)

En los pasos siguientes, se supone que está especificando la ruta de una carpeta del bucket de Amazon S3 denominada dags.

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Elija el entorno en el que desea ejecutar los DAG.

  3. Elija Editar.

  4. En el panel Código DAG en Amazon S3, elija Navegar en S3 junto al campo carpeta de DAG.

  5. Seleccione su carpeta dags.

  6. Seleccione Elegir.

  7. Seleccione Siguiente, Actualizar entorno.

Visualización de cambios en la interfaz de usuario de Apache Airflow

Inicio de sesión en Apache Airflow

Necesita permisos de Política de acceso a la interfaz de usuario de Apache Airflow: A mazonMWAAWeb ServerAccess para su cuenta de AWS en AWS Identity and Access Management (IAM) para ver la IU de Apache Airflow.

Pasos para acceder a la IU de Apache Airflow

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija Abrir interfaz de usuario de Airflow.

Siguientes pasos

  • Pruebe sus DAG, complementos personalizados y dependencias de Python de forma local con aws-mwaa-local-runner en GitHub.