Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solución de problemas: CloudWatch registros y CloudTrail errores

Los temas de esta página contienen soluciones a los CloudWatch registros de Amazon y los AWS CloudTrail errores que se pueden encontrar en un entorno de Amazon Managed Workflows for Apache Airflow.

Registros

En la siguiente página, se describen los errores que pueden aparecer cuando vea registros de Apache Airflow.

No puedo encontrar mis registros de tareas o he recibido un error al leer el registro remoto de Cloudwatch log_group

Amazon MWAA ha configurado Apache Airflow para leer y escribir registros directamente desde y hacia Amazon Logs. CloudWatch Si un proceso de trabajo no puede iniciar una tarea o no puede escribir ningún registro, aparecerá el siguiente error:

*** Reading remote log from Cloudwatch log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/timestamp/n.log.Could not read remote logs from log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/time/n.log.

Las tareas dan error sin ningún registro

Si las tareas dan error en un flujo de trabajo y no encuentra ningún registro de las tareas que generan errores, compruebe si el parámetro queue está configurado en sus argumentos predeterminados, como se muestra a continuación.

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

# Setting queue argument to default.
default_args = {
	"start_date": days_ago(1),
	"queue": "default"
}

with DAG(dag_id="any_command_dag", schedule_interval=None, catchup=False, default_args=default_args) as dag:
    cli_command = BashOperator(
        task_id="bash_command",
        bash_command="{{ dag_run.conf['command'] }}"
    )

Para resolver el problema, elimine queue del código y vuelva a invocar el DAG.

Recibo un error en ResourceAlreadyExistsException CloudTrail

"errorCode": "ResourceAlreadyExistsException",
    "errorMessage": "The specified log stream already exists",
    "requestParameters": {
        "logGroupName": "airflow-MyAirflowEnvironment-DAGProcessing",
        "logStreamName": "scheduler_cross-account-eks.py.log"
    }

Algunos requisitos de Python, como apache-airflow-backport-providers-amazon la reversión de la watchtower biblioteca con la que Amazon MWAA se comunica, CloudWatch a una versión anterior. Recomendamos los siguientes pasos:

Recibo un error de solicitud no válida en CloudTrail

Invalid request provided: Provided role does not have sufficient permissions for s3 location airflow-xxx-xxx/dags

Si va a crear un entorno de Amazon MWAA y un bucket de Amazon S3 con la misma CloudFormation plantilla, debe añadir una DependsOn sección dentro de la plantilla CloudFormation . Los dos recursos (el entorno de MWAA y la política de ejecución de MWAA) dependen de CloudFormation. Recomendamos los siguientes pasos:

Aparece No se puede encontrar una biblioteca cliente de Oracle de 64 bits: «libclntsh.so: no se puede abrir el archivo de objeto compartido: no existe ese archivo o directorio en los registros de Apache Airflow

Con respecto a psycopg2, me aparece “server closed the connection unexpectedly” (el servidor cerró la conexión de forma inesperada) en mis registros de programador

Si aparece un error similar al siguiente, es posible que el programador de Apache Airflow se haya quedado sin recursos.

2021-06-14T10:20:24.581-05:00    sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) server closed the connection unexpectedly
2021-06-14T10:20:24.633-05:00    This probably means the server terminated abnormally
2021-06-14T10:20:24.686-05:00    before or while processing the request.

Recomendamos los siguientes pasos:

El ejecutor informa que la instancia de tarea %s ha terminado (%s), aunque la tarea dice que es %s en mis registros de procesamiento del DAG

Si le sale un error similar al siguiente, es posible que sus tareas de larga ejecución hayan alcanzado el límite de tiempo de tareas en Amazon MWAA. Amazon MWAA tiene un límite de 12 horas para cada tarea de Airflow, a fin de evitar que las tareas se queden atascadas en la cola y bloqueen actividades como el escalado automático.

Executor reports task instance %s finished (%s) although the task says its %s. (Info: %s) Was the task killed externally

Recomendamos los siguientes pasos:

Los registros de los activadores no aparecen en el Flujo de aire IU

Si los registros de los activadores no aparecen en la interfaz de usuario de Apache Airflow, es posible que su rol de ejecución no tenga el permiso. logs:DescribeLogStreams Sin este permiso, Amazon MWAA no puede descubrir las secuencias de registros de los activadores. No aparece ningún error en los registros, lo que puede dificultar la identificación del problema.

logs:DescribeLogStreamsAñádalo a su rol de ejecución. Asigne el permiso al ARN del grupo de registros de su entorno. Para obtener más información, consulte Rol de ejecución de Amazon MWAA.

No puedo leer los registros remotos de log_group: airflow-* {*environmentName} -Task log_stream: * {*DAG_ID} /* {*TASK_ID} /* {*time} /* {*n} .log.en mis registros de tareas

Si aparece un error similar al siguiente, es posible que el rol de ejecución de su entorno no contenga una política de permisos para crear flujos de registro para los registros de tareas.

Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log.

Recomendamos los siguientes pasos:

Es posible que también haya especificado un paquete de proveedores en el archivo requirements.txt que no sea compatible con su versión de Apache Airflow. Por ejemplo, si usa Apache Airflow v2.0.2, es posible que haya especificado un paquete, por ejemplo, apache-airflow-providers-databricks que solo es compatible con Airflow 2.1 y versiones posteriores.

Recomendamos los siguientes pasos: