Actualización de la versión de Apache Airflow - Amazon Managed Workflows para Apache Airflow

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Actualización de la versión de Apache Airflow

Amazon MWAA admite la actualización a versiones menores. Esto significa que puede actualizar su entorno de una versión x.4.z a otra x.5.z. Para realizar una actualización de una versión principal, por ejemplo, de una versión 1.y.z a otra 2.y.z, debe crear un entorno nuevo y migrar sus recursos. Para obtener más información sobre la actualización a una nueva versión principal de Apache Airflow, consulte Migrating to a new Amazon MWAA environment en la Guía de migración de Amazon MWAA.

Durante el proceso de actualización, Amazon MWAA captura una instantánea de los metadatos del entorno, actualiza los procesos de trabajo, los programadores y el servidor web a la nueva versión de Apache Airflow y, finalmente, restaura la base de datos de metadatos con la instantánea.

nota

No puede instalar versiones anteriores de Apache Airflow para su entorno.

Antes de realizar la actualización, asegúrese de que sus recursos de flujo de trabajo DAGs y los demás sean compatibles con la nueva versión de Apache Airflow a la que vaya a actualizar. Si utiliza requirements.txt para gestionar las dependencias, también debe asegurarse de que las dependencias que especifique en sus requisitos sean compatibles con la nueva versión.

Actualice los recursos de su flujo de trabajo

Siempre que cambie las versiones de Apache Airflow, asegúrese de hacer referencia a la URL --constraint correcta en su requirements.txt.

aviso

Si se especifican requisitos que son incompatibles con la versión de Apache Airflow de destino durante una actualización, el proceso de reversión a la versión anterior de Apache Airflow con la versión de requisitos anterior puede ser muy lento.

Migración de los recursos de su flujo de trabajo
  1. Cree una bifurcación del aws-mwaa-local-runnerrepositorio y clone una copia del ejecutor local de Amazon MWAA.

  2. Diríjase a la sucursal del aws-mwaa-local-runner repositorio que coincida con la versión a la que está actualizando.

  3. Utilice la herramienta CLI del ejecutor local Amazon MWAA para crear la imagen de Docker y ejecutar Apache Airflow de forma local. Para obtener más información, consulta el archivo README del archivo local en el GitHub repositorio.

  4. Para actualizar los requirements.txt, siga las prácticas recomendadas que se indican en Administrar las dependencias de Python, en la Guía del usuario de Amazon MWAA.

  5. (Opcional) Para acelerar el proceso de actualización, limpie la base de datos de metadatos del entorno. Los entornos con una gran cantidad de metadatos pueden tardar mucho más en actualizarse.

  6. Una vez que haya probado correctamente los recursos de flujo de trabajo, copie sus DAGs complementos y los suyos en el bucket de Amazon S3 de su entorno. requirements.txt

Ahora puede editar el entorno, especificar una nueva versión de Apache Airflow e iniciar el procedimiento de actualización.

Especificación de la nueva versión

Cuando haya completado la actualización de los recursos de flujo de trabajo para garantizar la compatibilidad con la nueva versión de Apache Airflow, haga lo siguiente para editar los detalles del entorno y especificar la versión de Apache Airflow a la que desee actualizar.

nota

Al realizar una actualización, todas las tareas que se estén ejecutando actualmente en el entorno finalizan durante el procedimiento. El procedimiento de actualización puede tardar hasta dos horas, durante las cuales el entorno no está disponible.

Especificación de una versión nueva mediante la consola
  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. En la lista Entornos, elija el entorno que desee actualizar.

  3. En la página del entorno, elija Editar para editar el entorno.

  4. En la sección Detalles del entorno, para la versión Airflow, elija en la lista desplegable el nuevo número de versión de Apache Airflow al que desee actualizar el entorno.

  5. Elija Siguiente hasta llegar a la página Revisar y guardar.

  6. En la página Revisar y guardar, revise los cambios y, a continuación, seleccione Guardar.

Al aplicar los cambios, el entorno comienza el procedimiento de actualización. Durante este proceso, el estado de su entorno indica qué acciones está llevando a cabo Amazon MWAA y si el procedimiento se ha realizado correctamente.

Si la actualización se realiza correctamente, se mostrará el estado UPDATING y, a continuación CREATING_SNAPSHOT, cuando Amazon MWAA realice la copia de seguridad de sus metadatos. Por último, el estado volverá primero a UPDATING, y después a AVAILABLE, cuando finalice el procedimiento.

Si el entorno no se actualiza, su entorno mostrará el estado ROLLING_BACK. Si la reversión se realiza correctamente, primero se mostrará el estado UPDATE_FAILED, lo que indica que la actualización ha fallado pero que el entorno está disponible. Si se produce un error en la reversión, aparecerá el estado UNAVAILABLE, lo que indica que no se puede acceder al entorno.