View a markdown version of this page

Accesso ai log Airflow in Amazon CloudWatch - Amazon Managed Workflows for Apache Airflow
PrezziPrima di iniziareTipi di logAttivazione dei log di Apache AirflowAccesso ai log di Apache AirflowEsempi di log dello schedulerFasi successive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Accesso ai log Airflow in Amazon CloudWatch

Amazon MWAA può inviare i log di Apache Airflow ad Amazon. CloudWatch Puoi accedere ai log per più ambienti da un'unica posizione per identificare facilmente i ritardi delle attività di Apache Airflow o gli errori del flusso di lavoro senza strumenti aggiuntivi di terze parti. I log di Apache Airflow devono essere abilitati sulla console Amazon Managed Workflows for Apache Airflow per accedere all'elaborazione, alle attività, al server web e agli accessi dei lavoratori di Apache Airflow DAG. CloudWatch

Prezzi

  • Si applicano le tariffe Standard Logs. CloudWatch Per ulteriori informazioni, consulta la sezione CloudWatch prezzi.

Prima di iniziare

Tipi di log

Amazon MWAA crea un gruppo di log per ogni opzione di registrazione Airflow abilitata e invia i log ai gruppi di log associati a un ambiente. CloudWatch I gruppi di log sono denominati nel seguente formato:. airflow-YourEnvironmentName-LogType Ad esempio, se il nome del tuo ambiente è denominatoAirflow-v202-Public, i log delle attività di Apache Airflow vengono inviati a. airflow-Airflow-v202-Public-Task

Tipo di log Description

airflow-YourEnvironmentName-DAGProcessing

I log del gestore del processore DAG (la parte dello scheduler che elabora i file DAG).

airflow-YourEnvironmentName-Scheduler

I log generati dallo scheduler Airflow.

airflow-YourEnvironmentName-Task

I log delle attività generati da un DAG.

airflow-YourEnvironmentName-WebServer

I log generati dall'interfaccia web Airflow.

airflow-YourEnvironmentName-Worker

I log generati come parte del flusso di lavoro e dell'esecuzione del DAG.

Attivazione dei log di Apache Airflow

È possibile abilitare i log di Apache Airflow a livelloINFO,WARNING, ERROR o. CRITICAL Quando scegli un livello di registro, Amazon MWAA invia i log per quel livello e per tutti i livelli di gravità più elevati. Ad esempio, se abiliti i log a INFO livello, Amazon MWAA invia INFO i log e WARNINGERROR, e i livelli di log a CRITICAL Logs. CloudWatch

  1. Apri la pagina Ambienti sulla console Amazon MWAA.

  2. Scegli un ambiente.

  3. Scegli Modifica.

  4. Scegli Next (Successivo).

  5. Scegli una o più delle seguenti opzioni di registrazione:

    1. Scegliete il gruppo di log di Airflow Scheduler nel pannello Monitoraggio.

    2. Scegliete il gruppo di log del server web Airflow nel pannello Monitoraggio.

    3. Scegliete il gruppo di log dei lavoratori Airflow nel riquadro Monitoraggio.

    4. Scegliete il gruppo di log di elaborazione Airflow DAG nel riquadro Monitoraggio.

    5. Scegliete il gruppo di log delle attività Airflow nel riquadro Monitoraggio.

    6. Scegli il livello di registrazione in Livello di registro.

  6. Scegli Next (Successivo).

  7. Scegli Save (Salva).

Accesso ai log di Apache Airflow

La sezione seguente descrive come accedere ai log di Apache Airflow nella console. CloudWatch

  1. Apri la pagina Ambienti sulla console Amazon MWAA.

  2. Scegli un ambiente.

  3. Scegli un gruppo di log nel riquadro Monitoraggio.

  4. Scegli un log in Log stream.

Esempi di log dello scheduler

È possibile accedere ai log di Apache Airflow per lo scheduler, pianificare i flussi di lavoro e analizzare la cartella. dags I passaggi seguenti descrivono come aprire il gruppo di log per lo scheduler sulla console Amazon MWAA e accedere ai log di Apache Airflow sulla console Logs. CloudWatch

Per accedere ai log di un file requirements.txt

  1. Apri la pagina Ambienti sulla console Amazon MWAA.

  2. Scegli un ambiente.

  3. Scegliete il gruppo di log di Airflow Scheduler nel pannello Monitoraggio.

  4. Scegli l'requirements_install_ipaccesso Log streams.

  5. Consulta l'elenco dei pacchetti installati nell'ambiente all'indirizzo/usr/local/airflow/.local/bin. Ad esempio:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Controlla l'elenco dei pacchetti e verifica se qualcuno di questi ha riscontrato un errore durante l'installazione. Se qualcosa è andato storto, potresti ricevere un errore simile al seguente:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Fasi successive