Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Résolution des problèmes : CloudWatch journaux et CloudTrail erreurs

Les rubriques de cette page contiennent les résolutions relatives à Amazon CloudWatch Logs et AWS CloudTrail les erreurs que vous pouvez rencontrer dans un environnement Amazon Managed Workflows pour Apache Airflow.

Journaux

La rubrique suivante décrit les erreurs que vous pouvez recevoir lors de l'accès aux journaux d'Apache Airflow.

Je ne trouve pas mes journaux de tâches ou j'ai reçu une erreur de lecture à distance du journal de Cloudwatch log_group

Amazon MWAA a configuré Apache Airflow pour lire et écrire des journaux directement depuis et vers Amazon CloudWatch Logs. Si un collaborateur ne démarre pas une tâche ou n'écrit aucun journal, vous ferez référence à l'erreur suivante :

*** Reading remote log from Cloudwatch log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/timestamp/n.log.Could not read remote logs from log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/time/n.log.

Les tâches échouent sans aucun journal

Si des tâches échouent dans un flux de travail et que vous ne trouvez aucun journal pour les tâches ayant échoué, vérifiez si vous définissez le queue paramètre dans vos arguments par défaut, comme indiqué ci-dessous.

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

# Setting queue argument to default.
default_args = {
	"start_date": days_ago(1),
	"queue": "default"
}

with DAG(dag_id="any_command_dag", schedule_interval=None, catchup=False, default_args=default_args) as dag:
    cli_command = BashOperator(
        task_id="bash_command",
        bash_command="{{ dag_run.conf['command'] }}"
    )

Pour résoudre le problème, supprimez-le queue de votre code et invoquez à nouveau le DAG.

J'obtiens une ResourceAlreadyExistsException erreur dans CloudTrail

"errorCode": "ResourceAlreadyExistsException",
    "errorMessage": "The specified log stream already exists",
    "requestParameters": {
        "logGroupName": "airflow-MyAirflowEnvironment-DAGProcessing",
        "logStreamName": "scheduler_cross-account-eks.py.log"
    }

Certaines exigences de Python, telles apache-airflow-backport-providers-amazon que la restauration de la watchtower bibliothèque qu'Amazon MWAA utilise pour communiquer avec CloudWatch une ancienne version. Nous vous recommandons la procédure suivante :

J'obtiens une erreur de demande non valide dans CloudTrail

Invalid request provided: Provided role does not have sufficient permissions for s3 location airflow-xxx-xxx/dags

Si vous créez un environnement Amazon MWAA et un compartiment Amazon S3 à l'aide du même CloudFormation modèle, vous devez ajouter une DependsOn section dans votre CloudFormation modèle. Les deux ressources (MWAA Environment et MWAA Execution Policy) ont une dépendance dans. CloudFormation Nous vous recommandons la procédure suivante :

Je reçois Impossible de localiser une bibliothèque cliente Oracle 64 bits : « libclntsh.so : impossible d'ouvrir le fichier objet partagé : aucun fichier ou répertoire de ce type dans les journaux d'Apache Airflow

J'obtiens psycopg2 « le serveur a fermé la connexion de façon inattendue » dans les journaux de mon planificateur

Si vous obtenez une erreur similaire à la suivante, il est possible que votre planificateur Apache Airflow soit à court de ressources.

2021-06-14T10:20:24.581-05:00    sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) server closed the connection unexpectedly
2021-06-14T10:20:24.633-05:00    This probably means the server terminated abnormally
2021-06-14T10:20:24.686-05:00    before or while processing the request.

Nous vous recommandons la procédure suivante :

J'obtiens que l'instance de tâche %s est terminée (%s) par Executor Reports, bien que la tâche indique que c'est %s dans mes journaux de traitement DAG

Si vous obtenez une erreur similaire à la suivante, cela signifie que vos tâches de longue durée ont peut-être atteint la limite de temps sur Amazon MWAA. Amazon MWAA impose une limite de 12 heures pour chaque tâche Airflow, afin d'éviter que des tâches ne restent bloquées dans la file d'attente et ne bloquent des activités telles que la mise à l'échelle automatique.

Executor reports task instance %s finished (%s) although the task says its %s. (Info: %s) Was the task killed externally

Nous vous recommandons la procédure suivante :

Les journaux des déclencheurs n'apparaissent pas dans Débit d'air UI

Si les journaux des déclencheurs n'apparaissent pas dans l'interface utilisateur d'Apache Airflow, il se peut que votre rôle d'exécution ne dispose pas de cette autorisation. logs:DescribeLogStreams Sans cette autorisation, Amazon MWAA ne peut pas découvrir les flux de journaux des déclencheurs. Aucune erreur n'apparaît dans les journaux, ce qui peut rendre ce problème difficile à identifier.

Ajoutez logs:DescribeLogStreams à votre rôle d'exécution. Étendez l'autorisation à l'ARN du groupe de journaux de votre environnement. Pour de plus amples informations, veuillez consulter Rôle d'exécution Amazon MWAA.

Je reçois Impossible de lire les journaux distants depuis log_group : airflow-* {*environmentName} -Task log_stream :* {*DAG_ID} /* {*TASK_ID} /* {*time} /* {*n} .log.dans mes journaux de tâches

Si vous obtenez une erreur similaire à la suivante, il se peut que le rôle d'exécution de votre environnement ne contienne pas de politique d'autorisations permettant de créer des flux de journaux pour les journaux de tâches.

Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log.

Nous vous recommandons la procédure suivante :

Vous avez peut-être également spécifié un package fournisseur dans votre requirements.txt fichier qui n'est pas compatible avec votre version d'Apache Airflow. Par exemple, si vous utilisez Apache Airflow v2.0.2, vous avez peut-être spécifié un package, tel que le package apache-airflow-providers-databricks, qui n'est compatible qu'avec Airflow 2.1+.

Nous vous recommandons la procédure suivante :