View a markdown version of this page

Memantau dasbor dan alarm di Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Metrik-metrikIkhtisar status alarmContoh dasbor dan alarm kustomMenghapus metrik dan dasborApa selanjutnya?

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau dasbor dan alarm di Amazon MWAA

Anda dapat membuat dasbor khusus di Amazon CloudWatch dan menambahkan alarm untuk metrik tertentu untuk memantau status kesehatan Alur Kerja Terkelola Amazon untuk lingkungan Apache Airflow. Ketika alarm ada di dasbor, alarm berubah menjadi merah saat berada di ALARM negara bagian, sehingga lebih mudah untuk memantau kesehatan lingkungan Amazon MWAA secara proaktif.

Apache Airflow memaparkan metrik untuk beberapa proses, termasuk jumlah proses DAG, ukuran bag DAG, tugas yang sedang berjalan, kegagalan tugas, dan keberhasilan. Saat Anda membuat lingkungan, Airflow secara otomatis mengirimkan metrik untuk lingkungan Amazon MWAA ke CloudWatch. Halaman ini menjelaskan cara membuat dasbor status kesehatan untuk metrik Aliran Udara di CloudWatch lingkungan Amazon MWAA.

Metrik-metrik

Anda dapat membuat dasbor dan alarm khusus untuk metrik apa pun yang tersedia untuk versi Apache Airflow Anda. Setiap metrik sesuai dengan indikator kinerja kunci Apache Airflow (KPI). Untuk mengakses daftar metrik, lihat:

Ikhtisar status alarm

Sebuah alarm metrik mungkin saja berada dalam status berikut ini:

  • OK – Metrik atau ekspresi berada dalam ambang batas yang telah ditetapkan sebelumnya.

  • ALARM – Metrik atau ekspresi berada di luar ambang batas yang telah ditetapkan sebelumnya.

  • INSUFFICIENT_DATA – Alarm baru saja dimulai, metrik tidak tersedia, atau tidak ada data yang memadai yang tersedia bagi metrik untuk menentukan status alarm.

Contoh dasbor dan alarm kustom

Anda dapat membuat dasbor pemantauan khusus yang menampilkan bagan metrik yang dipilih untuk lingkungan Amazon MWAA Anda.

Tentang metrik ini

Daftar berikut menjelaskan setiap metrik yang dibuat di dasbor kustom oleh tutorial dan definisi template di bagian ini.

  • QueuedTasks- Jumlah tugas dengan keadaan antrian. Sesuai dengan metrik executor.queued_tasks Apache Airflow.

  • TasksPending- Jumlah tugas yang tertunda di pelaksana. Sesuai dengan metrik scheduler.tasks.pending Apache Airflow.

    catatan

    Tidak berlaku untuk Apache Airflow v2.2 dan yang lebih baru.

  • RunningTasks- Jumlah tugas yang berjalan di eksekutor. Sesuai dengan metrik executor.running_tasks Apache Airflow.

  • SchedulerHeartbeat- Jumlah check-in yang dilakukan Apache Airflow pada pekerjaan penjadwal. Sesuai dengan metrik scheduler_heartbeat Apache Airflow.

  • TotalParseTime- Jumlah detik yang dibutuhkan untuk memindai dan mengimpor semua file DAG sekali. Sesuai dengan metrik dag_processing.total_parse_time Apache Airflow.

Tentang dasbor

Gambar berikut menampilkan dasbor pemantauan yang dibuat oleh tutorial dan definisi template di bagian ini.

Gambar ini menggambarkan di mana menemukan opsi Jaringan pribadi di konsol Amazon MWAA.

Penggunaan AWS tutorial

Anda dapat menggunakan AWS tutorial berikut untuk secara otomatis membuat dasbor status kesehatan untuk lingkungan Amazon MWAA apa pun yang saat ini digunakan. Ini juga menciptakan CloudWatch alarm untuk pekerja yang tidak sehat dan kegagalan detak jantung penjadwal di semua lingkungan Amazon MWAA.

Penggunaan CloudFormation

Anda dapat menggunakan definisi CloudFormation template di bagian ini untuk membuat dasbor pemantauan di CloudWatch, lalu menambahkan alarm di CloudWatch konsol untuk menerima pemberitahuan saat metrik melampaui ambang batas tertentu. Untuk membuat tumpukan menggunakan definisi template ini, lihat Membuat tumpukan di CloudFormation konsol. Untuk menambahkan alarm ke dasbor, lihat Menggunakan alarm.

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Menghapus metrik dan dasbor

Jika Anda menghapus lingkungan Amazon MWAA, dasbor yang sesuai juga dihapus. CloudWatch metrik disimpan selama lima belas (15) bulan dan tidak dapat dihapus. Kon CloudWatch sol membatasi pencarian metrik hingga dua (2) minggu setelah metrik terakhir dicerna untuk memastikan bahwa instance terbaru ditampilkan untuk lingkungan Amazon MWAA Anda. Untuk mempelajari lebih lanjut, lihat CloudWatch FAQ Amazon.

Apa selanjutnya?