Visualizzazione dei log di Airflow in Amazon CloudWatch - Amazon Managed Workflows for Apache Airflow
PrezziPrima di iniziareTipi di logAbilitazione dei log di Apache AirflowVisualizzazione dei log di Apache AirflowEsempi di log dello schedulerFasi successive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Visualizzazione dei log di Airflow in Amazon CloudWatch

Amazon MWAA può inviare i log di Apache Airflow ad Amazon. CloudWatch Puoi visualizzare i log di più ambienti da un'unica posizione per identificare facilmente i ritardi nelle attività o gli errori del flusso di lavoro di Apache Airflow senza la necessità di strumenti aggiuntivi di terze parti. I log di Apache Airflow devono essere abilitati sulla console Amazon Managed Workflows for Apache Airflow per visualizzare l'DAGelaborazione, le attività, il server Web e i log in di Apache Airflow. CloudWatch

Prezzi

  • Si applicano le tariffe Standard Logs. CloudWatch Per ulteriori informazioni, consulta Prezzi di CloudWatch .

Prima di iniziare

Tipi di log

Amazon MWAA crea un gruppo di log per ogni opzione di registrazione Airflow abilitata e invia i log ai gruppi Logs associati a un ambiente CloudWatch . I gruppi di log sono denominati nel seguente formato:. YourEnvironmentName-LogType Per esempio, se il nome del tuo ambiente èAirflow-v202-Public, i log delle attività di Apache Airflow vengono inviati a. Airflow-v202-Public-Task

Tipo di log Descrizione

YourEnvironmentName-DAGProcessing

I log del gestore del DAG processore (la parte dello scheduler che elabora i file). DAG

YourEnvironmentName-Scheduler

I log generati dallo scheduler Airflow.

YourEnvironmentName-Task

I log delle attività generati da. DAG

YourEnvironmentName-WebServer

I log generati dall'interfaccia web Airflow.

YourEnvironmentName-Worker

I log generati come parte del flusso di lavoro e dell'esecuzione. DAG

Abilitazione dei log di Apache Airflow

È possibile abilitare i log di Apache Airflow a livello,, o. INFO WARNING ERROR CRITICAL Quando scegli un livello di registro, Amazon MWAA invia i log per quel livello e tutti i livelli di gravità più elevati. Ad esempio, se abiliti i log a INFO livello, Amazon MWAA invia INFO i log e WARNINGERROR, e i livelli di CRITICAL log a CloudWatch Logs.

  1. Apri la pagina Ambienti sulla MWAA console Amazon.

  2. Scegli un ambiente.

  3. Scegli Modifica.

  4. Scegli Next (Successivo).

  5. Scegliete una o più delle seguenti opzioni di registrazione:

    1. Scegli il gruppo di log dello scheduler Airflow nel riquadro Monitoraggio.

    2. Scegli il gruppo di log del server web Airflow nel riquadro Monitoraggio.

    3. Scegli il gruppo di log di lavoro Airflow nel riquadro Monitoraggio.

    4. Scegli il gruppo di log di DAG elaborazione Airflow nel pannello Monitoraggio.

    5. Scegli il gruppo di log delle attività Airflow nel riquadro Monitoraggio.

    6. Scegliete il livello di registrazione in Livello di registro.

  6. Scegli Next (Successivo).

  7. Seleziona Salva.

Visualizzazione dei log di Apache Airflow

La sezione seguente descrive come visualizzare i log di Apache Airflow nella console. CloudWatch

  1. Apri la pagina Ambienti sulla MWAA console Amazon.

  2. Scegli un ambiente.

  3. Scegli un gruppo di log nel riquadro Monitoraggio.

  4. Scegli un log in Log stream.

Esempi di log dello scheduler

È possibile visualizzare i log di Apache Airflow per Scheduler, pianificando i flussi di lavoro e analizzando la cartella. dags I passaggi seguenti descrivono come aprire il gruppo di log per Scheduler sulla MWAA console Amazon e visualizzare i log di Apache Airflow sulla console Logs. CloudWatch

Per visualizzare i log di un requirements.txt

  1. Apri la pagina Ambienti sulla MWAA console Amazon.

  2. Scegli un ambiente.

  3. Scegli il gruppo di log dello scheduler Airflow nel riquadro Monitoraggio.

  4. Scegli il requirements_install_ip log in Log Streams.

  5. Dovresti vedere l'elenco dei pacchetti che sono stati installati nell'ambiente all'indirizzo/usr/local/airflow/.local/bin. Per esempio:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Controlla l'elenco dei pacchetti e verifica se qualcuno di questi ha riscontrato un errore durante l'installazione. Se qualcosa è andato storto, potresti visualizzare un errore simile al seguente:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Fasi successive