Metrik kontainer, antrian, dan database untuk Amazon MWAA - Amazon Managed Workflows for Apache Airflow (MWAA)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Metrik kontainer, antrian, dan database untuk Amazon MWAA

Selain metrik Apache Airflow, Anda dapat memantau komponen yang mendasari Alur Kerja Terkelola Amazon untuk lingkungan Apache Airflow CloudWatch, yang mengumpulkan data mentah dan memproses data menjadi metrik yang dapat dibaca dan mendekati waktu nyata. Dengan metrik lingkungan ini, Anda akan memiliki visibilitas yang lebih besar ke indikator kinerja utama untuk membantu Anda mengukur lingkungan Anda dengan tepat dan masalah debug dengan alur kerja Anda. Metrik ini berlaku untuk semua versi Apache Airflow yang didukung di Amazon MWAA.

Amazon MWAA akan menyediakan pemanfaatan CPU dan memori untuk setiap wadah Amazon Elastic Container Service (Amazon ECS) Container Service (Amazon ECS) dan instance Amazon Aurora PostgreSQL, dan Amazon Simple Queue Service (Amazon SQS) untuk jumlah pesan dan usia pesan tertua, Amazon Relational Database Service Metrik Database Service (Amazon RDS) untuk koneksi database, kedalaman antrian disk, operasi tulis, latensi, dan throughput, dan metrik Amazon RDS Proxy. Metrik ini juga mencakup jumlah pekerja dasar, pekerja tambahan, penjadwal, dan server web.

Statistik ini disimpan selama 15 bulan, sehingga Anda dapat mengakses informasi historis dan mendapatkan perspektif yang lebih baik tentang mengapa jadwal gagal, dan memecahkan masalah mendasar. Anda juga dapat mengatur alarm yang memperhatikan ambang batas tertentu dan mengirim notifikasi atau mengambil tindakan saat ambang batas tersebut terpenuhi. Untuk informasi selengkapnya, lihat Panduan CloudWatch Pengguna Amazon.

Ketentuan

Namespace

Namespace adalah wadah untuk CloudWatch metrik layanan. AWS Untuk Amazon MWAA, namespace adalah. AWS/MWAA

CloudWatch metrik

CloudWatch Metrik mewakili kumpulan titik data yang diurutkan waktu yang spesifik untuk CloudWatch.

Dimensi

Dimensi adalah pasangan nama/nilai yang merupakan bagian dari identitas metrik.

Unit

Sebuah statistik memiliki satuan ukuran. Untuk Amazon MWAA, unit termasuk Count.

Dimensi

Bagian ini menjelaskan pengelompokan CloudWatch dimensi untuk metrik Amazon MWAA di. CloudWatch

Dimensi Deskripsi

Klaster

Metrik untuk minimum tiga container Amazon ECS yang digunakan oleh lingkungan Amazon MWAA untuk menjalankan komponen Apache Airflow: scheduler, worker, dan server web.

Antrean

Metrik untuk antrian Amazon SQS yang memisahkan penjadwal dari pekerja. Ketika pekerja membaca pesan, mereka dianggap dalam penerbangan dan tidak tersedia untuk pekerja lain. Pesan menjadi tersedia bagi pekerja lain untuk dibaca jika tidak dihapus sebelum batas waktu visibilitas 12 jam.

Basis Data

Metrik cluster Aurora yang digunakan oleh Amazon MWAA. Ini termasuk metrik untuk instance database utama dan replika baca untuk mendukung operasi baca. Amazon MWAA menerbitkan metrik database untuk instans READER dan WRITER.

Mengakses metrik di konsol CloudWatch

Bagian ini menjelaskan cara mengakses metrik Amazon MWAA Anda di. CloudWatch

Untuk melihat metrik kinerja untuk dimensi
  1. Buka halaman Metrik di CloudWatch konsol.

  2. Gunakan pemilih AWS Wilayah untuk memilih wilayah Anda.

  3. Pilih namespace AWS/MWAA.

  4. Di tab Semua metrik, pilih dimensi. Misalnya, Cluster.

  5. Pilih CloudWatch metrik untuk dimensi. Misalnya, NumSchedulersatau CPUUutilization. Kemudian, pilih Grafik semua hasil pencarian.

  6. Pilih tab Graphed metrics untuk melihat metrik performa.

Daftar metrik

Tabel berikut mencantumkan metrik layanan cluster, antrian, dan database untuk Amazon MWAA. Untuk melihat deskripsi metrik yang dipancarkan langsung dari Amazon ECS, Amazon SQS, atau Amazon RDS, pilih tautan dokumentasi masing-masing.

Metrik klaster

Metrik berikut berlaku untuk setiap penjadwal, pekerja dasar, pekerja tambahan, dan server web. Untuk informasi selengkapnya dan deskripsi setiap metrik klaster, lihat Metrik dan dimensi yang tersedia di Panduan Pengembang Amazon ECS.

Namespace Metrik Unit

AWS/MWAA

CPUUtilization

Persen

AWS/MWAA

MemoryUtilization

Persen

Mengevaluasi jumlah pekerja tambahan dan wadah server web

Anda dapat menggunakan metrik komponen yang disediakan di bawah dimensi Cluster, seperti yang dijelaskan dalam prosedur berikut, untuk menilai berapa banyak pekerja tambahan, atau server web, lingkungan yang digunakan pada titik waktu tertentu. Anda dapat melakukan ini dengan membuat grafik CPUUutilization atau MemoryUtilizationmetrik dan menyetel tipe statistik ke Hitungan Sampel. Nilai yang dihasilkan adalah jumlah total RUNNING tugas untuk AdditionalWorker komponen. Memahami jumlah contoh pekerja tambahan yang digunakan oleh lingkungan Anda dapat membantu Anda mengukur skala lingkungan Anda dan memungkinkan Anda mengoptimalkan jumlah pekerja tambahan.

Workers
Untuk mengevaluasi jumlah pekerja tambahan yang menggunakan AWS Management Console
  1. Pilih namespace AWS/MWAA.

  2. Di tab Semua metrik, pilih dimensi Cluster.

  3. Di bawah dimensi Cluster, untuk AdditionalWorker, pilih CPUUutilization atau metrik. MemoryUtilization

  4. Pada tab Metrik Grafik, atur Periode menjadi 1 Menit dan Statistik ke Hitungan Sampel.

Web servers
Untuk mengevaluasi jumlah server web tambahan menggunakan AWS Management Console
  1. Pilih namespace AWS/MWAA.

  2. Di tab Semua metrik, pilih dimensi Cluster.

  3. Di bawah dimensi Cluster, untuk AdditionalWebservers, pilih CPUUutilization atau metrik. MemoryUtilization

  4. Pada tab Metrik Grafik, atur Periode menjadi 1 Menit dan Statistik ke Hitungan Sampel.

Untuk informasi selengkapnya, lihat Jumlah RUNNING tugas layanan di Panduan Pengembang Layanan Amazon Elastic Container.

Metrik basis data

Metrik berikut berlaku untuk setiap instance database yang terkait dengan lingkungan Amazon MWAA.

Namespace Metrik Unit

AWS/MWAA

CPUUtilization

Persen

AWS/MWAA

DatabaseConnections

Hitung

AWS/MWAA

DiskQueueDepth

Hitung

AWS/MWAA

FreeableMemory

Byte

AWS/MWAA

VolumeWriteIOPS

Hitung per lima menit

AWS/MWAA

WriteIOPS

Hitungan per detik

AWS/MWAA

WriteLatency

Detik

AWS/MWAA

WriteThroughput

Byte per detik

Metrik antrian

Untuk informasi selengkapnya tentang unit dan deskripsi untuk metrik antrian berikut, lihat Metrik yang tersedia untuk CloudWatch Amazon SQS di Panduan Pengembang Layanan Antrian Sederhana Amazon.

Namespace Metrik Unit

AWS/MWAA

ApproximateAgeOfOldestTask

Detik

AWS/MWAA

RunningTasks

Hitung

AWS/MWAA

QueuedTasks

Hitung

Metrik Application Load Balancer

Metrik Application Load Balancer berlaku untuk server web yang berjalan di lingkungan Anda. Amazon MWAA menggunakan metrik ini untuk penskalaan server web Anda berdasarkan jumlah lalu lintas. Untuk informasi selengkapnya tentang unit dan deskripsi untuk metrik penyeimbang beban berikut, lihat CloudWatch metrik untuk Application Load Balancer Anda di Panduan Pengguna Application Load Balancers.

Namespace Metrik Unit

AWS/MWAA

ActiveConnectionCount

Hitung