View a markdown version of this page

Mengakses log Aliran Udara di Amazon CloudWatch - Amazon Managed Workflows for Apache Airflow
HargaSebelum Anda mulaiJenis logMengaktifkan log Apache AirflowMengakses log Apache AirflowContoh log penjadwalApa selanjutnya?

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengakses log Aliran Udara di Amazon CloudWatch

Amazon MWAA dapat mengirim log Apache Airflow ke Amazon CloudWatch. Anda dapat mengakses log untuk beberapa lingkungan dari satu lokasi untuk mengidentifikasi penundaan tugas Apache Airflow atau kesalahan alur kerja dengan mudah tanpa alat pihak ketiga tambahan. Log Apache Airflow harus diaktifkan di Amazon Managed Workflow untuk konsol Apache Airflow untuk mengakses pemrosesan Apache Airflow DAG, tugas, server web, login pekerja. CloudWatch

Harga

  • Biaya CloudWatch Log Standar berlaku. Untuk informasi selengkapnya, lihat CloudWatch harga.

Sebelum Anda mulai

Jenis log

Amazon MWAA membuat grup log untuk setiap opsi pencatatan aliran udara yang Anda aktifkan, dan mendorong CloudWatch log ke grup Log yang terkait dengan lingkungan. Grup log diberi nama dalam format berikut:airflow-YourEnvironmentName-LogType. Misalnya, jika lingkungan Anda diberi namaAirflow-v202-Public, log tugas Apache Airflow dikirim keairflow-Airflow-v202-Public-Task.

Jenis log Deskripsi

airflow-YourEnvironmentName-DAGProcessing

Log manajer prosesor DAG (bagian dari penjadwal yang memproses file DAG).

airflow-YourEnvironmentName-Scheduler

Log yang dihasilkan oleh penjadwal aliran udara.

airflow-YourEnvironmentName-Task

Log tugas yang dihasilkan DAG.

airflow-YourEnvironmentName-WebServer

Log yang dihasilkan antarmuka web Airflow.

airflow-YourEnvironmentName-Worker

Log yang dihasilkan sebagai bagian dari alur kerja dan eksekusi DAG.

Mengaktifkan log Apache Airflow

Anda dapat mengaktifkan log Apache Airflow di CRITICAL level INFOWARNING,ERROR,, atau. Saat Anda memilih tingkat log, Amazon MWAA mengirimkan log untuk tingkat itu dan semua tingkat keparahan yang lebih tinggi. Misalnya, jika Anda mengaktifkan log di INFO level tersebut, Amazon MWAA mengirimkan INFO log danWARNING,ERROR, dan level CRITICAL CloudWatch log ke Log.

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Pilih lingkungan.

  3. Pilih Edit.

  4. Pilih Berikutnya.

  5. Pilih satu atau beberapa opsi pencatatan berikut:

    1. Pilih grup log penjadwal aliran udara di panel Monitoring.

    2. Pilih grup log server web Airflow di panel Monitoring.

    3. Pilih grup log pekerja Airflow di panel Monitoring.

    4. Pilih grup log pemrosesan Airflow DAG di panel Monitoring.

    5. Pilih grup log tugas Airflow di panel Monitoring.

    6. Pilih tingkat logging di tingkat Log.

  6. Pilih Berikutnya.

  7. Pilih Simpan.

Mengakses log Apache Airflow

Bagian berikut menjelaskan cara mengakses log Apache Airflow di CloudWatch konsol.

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Pilih lingkungan.

  3. Pilih grup log di panel Monitoring.

  4. Pilih log in Stream log.

Contoh log penjadwal

Anda dapat mengakses log Apache Airflow untuk penjadwal yang menjadwalkan alur kerja Anda dan mengurai folder Anda. dags Langkah-langkah berikut menjelaskan cara membuka grup log untuk penjadwal di konsol Amazon MWAA, dan mengakses log Apache Airflow di konsol CloudWatch Logs.

Untuk mengakses log untuk requirements.txt

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Pilih lingkungan.

  3. Pilih grup log penjadwal aliran udara di panel Monitoring.

  4. Pilih requirements_install_ip log stream log masuk.

  5. Lihat daftar paket yang diinstal pada lingkungan di/usr/local/airflow/.local/bin. Contoh:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Tinjau daftar paket dan apakah salah satu dari ini mengalami kesalahan selama instalasi. Jika terjadi kesalahan, Anda mungkin mendapatkan kesalahan yang mirip dengan berikut ini:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Apa selanjutnya?