Solución de problemas: creación y actualización de entornos de Amazon MWAA - Amazon Managed Workflows para Apache Airflow
Actualización de requirements.txtComplementosCreación de un bucketCreación de un entornoActualización de entornosAcceso a entornos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solución de problemas: creación y actualización de entornos de Amazon MWAA

Los temas de esta página tratan de los errores que puede encontrar al crear y actualizar entornos de Amazon Managed Workflows para Apache Airflow y cómo resolverlos.

Actualización de requirements.txt

En el siguiente tema se describen los errores que puede encontrar al actualizar su requirements.txt.

He especificado una nueva versión de mi requirements.txt y la actualización de mi entorno está tardando más de 20 minutos

Si su entorno tarda más de 20 minutos en instalar una nueva versión de un archivo requirements.txt, quiere decir que se ha producido un error en la actualización del entorno y Amazon MWAA está volviendo a la última versión estable de la imagen del contenedor.

  1. Compruebe las versiones de los paquetes. Recomendamos especificar siempre una versión específica (==) o una versión máxima (<=) para las dependencias de Python en su requirements.txt.

  2. Compruebe los registros de Apache Airflow. Si ha activado los registros de Apache Airflow, compruebe que los grupos de registros se hayan creado correctamente en la página Grupos de registros de la consola de CloudWatch. Si ve registros en blanco, el motivo más común es que faltan permisos en su rol de ejecución para CloudWatch o Amazon S3, donde se escriben los registros. Para obtener más información, consulte Rol de ejecución.

  3. Compruebe las opciones de configuración de Apache Airflow. Si utiliza Secrets Manager, compruebe que los pares clave-valor que especificó como opción de configuración de Apache Airflow se hayan configurado correctamente. Para obtener más información, consulte Configuración de una conexión Apache Airflow mediante un secreto AWS Secrets Manager.

  4. Compruebe la configuración de la red de VPC. Para obtener más información, consulte Intenté crear un entorno y está atascado en el estado “Creación en curso”..

  5. Compruebe los permisos de los roles de ejecución. Un rol de ejecución es un rol AWS Identity and Access Management (de IAM) con una política de permisos que otorga a Amazon MWAA permiso para invocar los recursos de otros servicios de AWS (como Amazon S3, CloudWatch, Amazon SQS o Amazon ECR) en su nombre. También se debe permitir el acceso a su clave gestionada por el cliente o su clave propia de AWS. Para obtener más información, consulte Rol de ejecución.

  6. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno Amazon MWAA, consulte el script Verify Environment en las herramientas de soporte de AWS en GitHub.

Complementos

En el siguiente tema se describen los problemas que pueden surgir al configurar o actualizar los complementos de Apache Airflow.

¿Admite Amazon MWAA la implementación de una interfaz de usuario personalizada?

A partir de la versión 2.2.2 de Apache Airflow, Amazon MWAA admite la instalación de complementos en el servidor web Apache Airflow y la implementación de una interfaz de usuario personalizada. Si su entorno Amazon MWAA ejecuta Apache Airflow v2.0.2 o una versión anterior, no podrá implementar una interfaz de usuario personalizada.

Para obtener más información sobre la administración de versiones y la actualización de sus entornos existentes, consulte Versiones de Apache Airflow en Amazon Managed Workflows para Apache Airflow.

Puedo implementar cambios personalizados en la interfaz de usuario en el ejecutor local de Amazon MWAA mediante complementos, pero cuando intento hacer lo mismo en Amazon MWAA, no veo mis cambios ni recibo ningún mensaje de error. ¿Por qué sucede esto?

El ejecutor local de Amazon MWAA tiene todos los componentes de Apache Airflow agrupados en una sola imagen, lo que le permite aplicar cambios personalizados en los complementos de la interfaz de usuario.

Creación de un bucket

En el siguiente tema se describen los errores que puede haber al crear un bucket de Amazon S3.

No puedo seleccionar la opción de bloqueo de acceso público en S3

El rol de ejecución de su entorno de Amazon MWAA necesita permiso para realizar la acción de GetBucketPublicAccessBlock en el bucket de Amazon S3 para verificar que el bucket ha bloqueado el acceso público. Recomendamos los siguientes pasos:

  1. Siga los pasos para adjuntar una política de JSON a su rol de ejecución.

  2. Adjunte la siguiente política JSON:

    {
   "Effect":"Allow",
   "Action":[
      "s3:GetObject*",
      "s3:GetBucket*",
      "s3:List*"
   ],
   "Resource":[
      "arn:aws:s3:::YOUR_S3_BUCKET_NAME",
      "arn:aws:s3:::YOUR_S3_BUCKET_NAME/*"
   ]
}

    Sustituya los marcadores de posición de ejemplo de YOUR_S3_BUCKET_NAME por el nombre de su bucket de Amazon S3, como my-mwaa-unique-s3-bucket-name.

  3. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno Amazon MWAA, consulte el script Verify Environment en las herramientas de soporte de AWS en GitHub.

Creación de un entorno

En el siguiente tema se describen los errores que puede haber al crear un entorno.

Intenté crear un entorno y está atascado en el estado “Creación en curso”.

Recomendamos los siguientes pasos:

  1. Compruebe la red de VPC con enrutamiento público. Si utiliza una Amazon VPC con acceso a Internet, compruebe lo siguiente:

    1. Que su Amazon VPC esté configurada para permitir el tráfico de red entre los distintos recursos de AWS que utiliza su entorno de Amazon MWAA, tal y como se define en Acerca de las redes en Amazon MWAA. Por ejemplo, su grupo de seguridad de VPC debe permitir todo el tráfico en una regla de autorreferencia o, si lo desea, especificar el rango de puertos para el rango de puertos HTTPS 443 y un rango de puertos TCP 5432.

  2. Compruebe la red de VPC con enrutamiento privado. Si utiliza una Amazon VPC sin acceso a Internet, compruebe lo siguiente:

    1. Que su Amazon VPC esté configurada para permitir el tráfico de red entre los distintos recursos de AWS de su entorno Amazon MWAA, tal y como se define en Acerca de las redes en Amazon MWAA. Por ejemplo, sus dos subredes privadas no deben tener una tabla de enrutamiento a una puerta de enlace de NAT (o instancia de NAT) ni a una puerta de enlace de Internet.

  3. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno Amazon MWAA, consulte el script Verify Environment en las herramientas de soporte de AWS en GitHub.

Intenté crear un entorno, pero aparece el estado “Create failed”.

Recomendamos los siguientes pasos:

  1. Compruebe la configuración de la red de VPC. Para obtener más información, consulte Intenté crear un entorno y está atascado en el estado “Creación en curso”..

  2. Compruebe los permisos de usuario. Amazon MWAA realiza una prueba con las credenciales de un usuario antes de crear un entorno. Es posible que su cuenta de AWS no tenga permiso en AWS Identity and Access Management (IAM) para crear algunos de los recursos de un entorno. Por ejemplo, si eligió el modo de acceso Red privada para Apache Airflow, su administrador debe haber concedido acceso a su cuenta de AWS a la política de control de acceso de AmazonMWAAFullConsoleAccess para su entorno, que permite a su cuenta crear puntos de conexión de VPC.

  3. Compruebe los permisos de los roles de ejecución. Un rol de ejecución es un rol AWS Identity and Access Management (de IAM) con una política de permisos que otorga a Amazon MWAA permiso para invocar los recursos de otros servicios de AWS (como Amazon S3, CloudWatch, Amazon SQS o Amazon ECR) en su nombre. También se debe permitir el acceso a su clave gestionada por el cliente o su clave propia de AWS. Para obtener más información, consulte Rol de ejecución.

  4. Compruebe los registros de Apache Airflow. Si ha activado los registros de Apache Airflow, compruebe que los grupos de registros se hayan creado correctamente en la página Grupos de registros de la consola de CloudWatch. Si ve registros en blanco, el motivo más común es que faltan permisos en su rol de ejecución para CloudWatch o Amazon S3, donde se escriben los registros. Para obtener más información, consulte Rol de ejecución.

  5. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno Amazon MWAA, consulte el script Verify Environment en las herramientas de soporte de AWS en GitHub.

  6. Si utiliza una Amazon VPC sin acceso a Internet, asegúrese de haber creado un punto de conexión de puerta de enlace de Amazon S3 y de haber concedido los permisos mínimos necesarios a Amazon ECR para acceder a Amazon S3. Para más información sobre la creación de un punto de conexión de puerta de enlace de Amazon S3, consulte los siguientes enlaces:

Intenté seleccionar una VPC y se produjo un error de “Network Failure”

Recomendamos los siguientes pasos:

  • Si aparece un error de red “Network failure” al intentar seleccionar una Amazon VPC al crear el entorno, desactive todos los proxies del navegador que se estén ejecutando e inténtelo de nuevo.

He intentado crear un entorno y he recibido un mensaje de error que indica que el servicio, la partición o el recurso “deben pasarse”

Recomendamos los siguientes pasos:

  • Es posible que reciba este error porque el URI que especificó para su bucket de Amazon S3 incluye una barra inclinada (“/”) al final del URI. Le recomendamos que elimine la barra inclinada (“/”) de la ruta. El valor debe tener el siguiente formato:

    s3://your-bucket-name

He intentado crear un entorno que muestra el estado como “Disponible”, pero cuando intento acceder a la interfaz de usuario de Airflow aparece un mensaje de error que dice “Empty Reply from Server” o “502 Bad Gateway”

Recomendamos los siguientes pasos:

  1. Compruebe la configuración del grupo de seguridad de VPC. Para obtener más información, consulte Intenté crear un entorno y está atascado en el estado “Creación en curso”..

  2. Confirme que todos los paquetes de Apache Airflow que haya publicado en requirements.txt corresponden a la versión de Apache Airflow que utiliza en Amazon MWAA. Para obtener más información, consulte Instalación de dependencias de Python.

  3. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno Amazon MWAA, consulte el script Verify Environment en las herramientas de soporte de AWS en GitHub.

Intenté crear un entorno y mi nombre de usuario es un conjunto de nombres de caracteres aleatorios

  • Apache Airflow tiene un máximo de 64 caracteres para los nombres de usuario. Si su rol AWS Identity and Access Management (de IAM) supera esta longitud, se utilizará un algoritmo de hash para reducirla y, para que, al mismo tiempo, siga siendo única.

Actualización de entornos

En el siguiente tema se describen los errores que puede haber al actualizar un entorno.

Intenté cambiar la clase del entorno, pero la actualización falló

Si actualiza su entorno a una clase de entorno diferente (por ejemplo, al cambiar de un mw1.medium a un mw1.small) y la solicitud de actualización no se puede realizar correctamente, el estado del entorno pasará a UPDATE_FAILED y el entorno se revertirá a su versión estable anterior y se facturará de acuerdo con ella.

Recomendamos los siguientes pasos:

  1. Pruebe sus DAG, complementos personalizados y dependencias de Python de forma local con aws-mwaa-local-runner en GitHub.

  2. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno Amazon MWAA, consulte el script Verify Environment en las herramientas de soporte de AWS en GitHub.

Acceso a entornos

En el siguiente tema se describen los errores que puede haber al acceder un entorno.

No puedo acceder a la interfaz de usuario de Apache Airflow

Recomendamos los siguientes pasos:

  1. Compruebe los permisos de usuario. Es posible que no se le haya concedido acceso a una política de permisos que le permita ver la interfaz de usuario de Apache Airflow. Para obtener más información, consulte Acceder a un MWAA entorno de Amazon.

  2. Compruebe el acceso a la red. Esto puede deberse a que seleccionó el modo de acceso de red privada. Si la URL de la interfaz de usuario de Apache Airflow tiene el siguiente formato (387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com), significa que está utilizando un enrutamiento privado para su servidor web de Apache Airflow. Puede actualizar el modo de acceso de Apache Airflow al modo de acceso de red pública o crear un mecanismo para acceder al punto de conexión de VPC de su servidor web de Apache Airflow. Para obtener más información, consulte Administración del acceso a los puntos de conexión de Amazon VPC específicos del servicio en Amazon MWAA.