Melihat log Aliran Udara di Amazon CloudWatch - Amazon Managed Workflows for Apache Airflow (MWAA)
HargaSebelum Anda mulaiJenis logMengaktifkan log Apache AirflowMelihat log Apache AirflowContoh log schedulerApa selanjutnya?

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Melihat log Aliran Udara di Amazon CloudWatch

Amazon MWAA dapat mengirim log Apache Airflow ke Amazon. CloudWatch Anda dapat melihat log untuk beberapa lingkungan dari satu lokasi untuk dengan mudah mengidentifikasi penundaan tugas Apache Airflow atau kesalahan alur kerja tanpa perlu alat pihak ketiga tambahan. Log Apache Airflow harus diaktifkan di Amazon Managed Workflows untuk konsol Apache Airflow untuk melihat pemrosesan Apache Airflow DAG, tugas, server Web, log Worker. CloudWatch

Harga

  • Biaya CloudWatch Log Standar berlaku. Untuk informasi selengkapnya, lihat harga CloudWatch .

Sebelum Anda mulai

Jenis log

Amazon MWAA membuat grup log untuk setiap opsi pencatatan Aliran Udara yang Anda aktifkan, dan mendorong log ke grup Log yang CloudWatch terkait dengan lingkungan. Grup log diberi nama dalam format berikut:YourEnvironmentName-LogType. Misalnya, jika lingkungan Anda diberi namaAirflow-v202-Public, log tugas Apache Airflow akan dikirim ke. Airflow-v202-Public-Task

Jenis log Deskripsi

YourEnvironmentName-DAGProcessing

Log manajer prosesor DAG (bagian dari penjadwal yang memproses file DAG).

YourEnvironmentName-Scheduler

Log yang dihasilkan oleh penjadwal Aliran Udara.

YourEnvironmentName-Task

Tugas mencatat hasil DAG.

YourEnvironmentName-WebServer

Log yang dihasilkan antarmuka web Airflow.

YourEnvironmentName-Worker

Log yang dihasilkan sebagai bagian dari alur kerja dan eksekusi DAG.

Mengaktifkan log Apache Airflow

Anda dapat mengaktifkan log Apache Airflow diINFO,, WARNINGERROR, atau CRITICAL level. Saat Anda memilih level log, Amazon MWAA mengirimkan log untuk level tersebut dan semua tingkat keparahan yang lebih tinggi. Misalnya, jika Anda mengaktifkan log di INFO level tersebut, Amazon MWAA mengirimkan INFO log danWARNING,ERROR, dan tingkat CRITICAL log ke CloudWatch Log.

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Pilih lingkungan.

  3. Pilih Edit.

  4. Pilih Berikutnya.

  5. Pilih satu atau beberapa opsi pencatatan berikut:

    1. Pilih grup log penjadwal aliran udara di panel Pemantauan.

    2. Pilih grup log server web Aliran udara di panel Pemantauan.

    3. Pilih grup log pekerja Aliran udara di panel Pemantauan.

    4. Pilih grup log pemrosesan Aliran Udara DAG di panel Pemantauan.

    5. Pilih grup log tugas Aliran udara di panel Pemantauan.

    6. Pilih level logging di level Log.

  6. Pilih Berikutnya.

  7. Pilih Simpan.

Melihat log Apache Airflow

Bagian berikut menjelaskan cara melihat log Apache Airflow di konsol. CloudWatch

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Pilih lingkungan.

  3. Pilih grup log di panel Monitoring.

  4. Pilih log masuk Aliran log.

Contoh log scheduler

Anda dapat melihat log Apache Airflow untuk Scheduler yang menjadwalkan alur kerja Anda dan mengurai folder Anda. dags Langkah-langkah berikut menjelaskan cara membuka grup log untuk Scheduler di konsol Amazon MWAA, dan melihat log Apache Airflow di konsol Log. CloudWatch

Untuk melihat log untuk requirements.txt

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Pilih lingkungan.

  3. Pilih grup log penjadwal aliran udara di panel Pemantauan.

  4. Pilih requirements_install_ip log masuk Aliran log.

  5. Anda akan melihat daftar paket yang diinstal pada lingkungan di/usr/local/airflow/.local/bin. Sebagai contoh:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Tinjau daftar paket dan apakah salah satu dari ini mengalami kesalahan selama instalasi. Jika terjadi kesalahan, Anda mungkin melihat kesalahan yang mirip dengan yang berikut:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Apa selanjutnya?