View a markdown version of this page

Metrik kontainer, antrian, dan database untuk Amazon MWAA - Amazon Managed Workflows for Apache Airflow

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Metrik kontainer, antrian, dan database untuk Amazon MWAA

Selain metrik Apache Airflow, Anda dapat memantau komponen dasar dari Amazon Managed Workflow untuk lingkungan Apache Airflow CloudWatch, yang mengumpulkan data mentah dan memproses data menjadi metrik yang hampir real-time yang dapat dibaca. Dengan metrik lingkungan ini, Anda akan memiliki visibilitas yang lebih besar ke indikator kinerja utama untuk membantu Anda mengukur lingkungan dengan tepat dan men-debug masalah dengan alur kerja Anda. Metrik ini berlaku untuk semua versi Apache Airflow yang didukung di Amazon MWAA.

Amazon MWAA akan menyediakan pemanfaatan CPU dan memori untuk setiap wadah Amazon Elastic Container Service (Amazon ECS) dan instans Amazon Aurora PostgreSQL, dan metrik Amazon Simple Queue Service (Amazon SQS) untuk jumlah pesan dan usia pesan tertua, metrik Amazon Relational Database Service (Amazon RDS) untuk koneksi database, kedalaman antrian disk, operasi penulisan, latensi, dan throughput, dan metrik Amazon RDS Proxy. Metrik ini juga mencakup jumlah pekerja dasar, pekerja tambahan, penjadwal, dan server web.

Statistik ini disimpan selama 15 bulan, sehingga Anda dapat mengakses informasi historis dan mendapatkan perspektif yang lebih baik tentang mengapa jadwal gagal, dan memecahkan masalah yang mendasarinya. Anda juga dapat mengatur alarm yang memantau ambang batas tertentu, dan mengirim pemberitahuan atau mengambil tindakan ketika ambang batas tersebut terpenuhi. Untuk informasi selengkapnya, lihat Panduan CloudWatch Pengguna Amazon.

Istilah

Namespace

Namespace adalah wadah untuk CloudWatch metrik AWS layanan. Untuk Amazon MWAA, namespace adalah. AWS/MWAA

CloudWatch metrik

CloudWatch Metrik mewakili kumpulan titik data yang diurutkan waktu yang spesifik untuk CloudWatch.

Dimensi

Dimensi adalah name/value pasangan yang merupakan bagian dari identitas metrik.

Unit

Statistik memiliki satuan ukuran. Untuk Amazon MWAA, unit termasuk Hit ungan.

Dimensi

Bagian ini menjelaskan pengelompokan CloudWatch dimensi untuk metrik Amazon MWAA di CloudWatch.

Dimensi Deskripsi

Kluster

Metrik untuk minimum tiga wadah Amazon ECS yang digunakan lingkungan Amazon MWAA untuk menjalankan komponen Apache Airflow: penjadwal, pekerja, dan server web.

Antrean

Metrik untuk antrian Amazon SQS yang memisahkan penjadwal dari pekerja. Ketika pekerja membaca pesan, mereka dianggap dalam penerbangan dan tidak tersedia untuk pekerja lain. Pesan tersedia untuk dibaca pekerja lain jika tidak dihapus sebelum batas waktu visibilitas 12 jam.

Basis Data

Metrik cluster Aurora yang digunakan oleh Amazon MWAA. Ini termasuk metrik untuk instance database utama dan replika baca untuk mendukung operasi baca. Amazon MWAA menerbitkan metrik database untuk instans READER dan WRITER.

Mengakses metrik di CloudWatch konsol

Bagian ini menjelaskan cara mengakses metrik Amazon MWAA Anda di CloudWatch.

Untuk mengakses metrik kinerja untuk dimensi
  1. Buka halaman Metrik di CloudWatch konsol.

  2. Pilih milik Anda Wilayah AWS.

  3. Pilih AWS/MWAA namespace.

  4. Di tab Semua metrik, pilih dimensi. Misalnya, Cluster.

  5. Pilih CloudWatch metrik untuk dimensi. Misalnya, NumSchedulers atau CPU Utilization. Kemudian, pilih Grafik semua hasil pencarian.

  6. Pilih tab Graphed metrics untuk mengakses metrik kinerja.

Daftar metrik

Tabel berikut mencantumkan metrik layanan cluster, antrian, dan database untuk Amazon MWAA. Untuk mengakses deskripsi metrik yang dipancarkan langsung dari Amazon ECS, Amazon SQS, atau Amazon RDS, pilih tautan dokumentasi masing-masing.

Metrik klaster

Metrik berikut berlaku untuk setiap penjadwal, pekerja dasar, pekerja tambahan, dan server web. Untuk informasi selengkapnya tentang metrik ini, lihat pemantauan Amazon ECS dan Amazon ECS Container Insights.

Namespace Metrik Unit

AWS/MWAA

CPUUtilization

Persen

AWS/MWAA

MemoryUtilization

Persen

AWS/MWAA

EphemeralStorageUtilized

Megabyte

AWS/MWAA

EphemeralStorageReserved

Megabyte

AWS/MWAA

NetworkTxBytes

Bytes/Second

AWS/MWAA

NetworkRxBytes

Bytes/Second

Mengevaluasi jumlah pekerja tambahan dan wadah server web

Anda dapat menggunakan metrik komponen yang disediakan dalam dimensi Cluster, seperti yang dijelaskan dalam prosedur berikut, untuk menilai berapa banyak pekerja tambahan, atau server web, yang digunakan lingkungan pada titik waktu tertentu. Anda dapat melakukan ini dengan membuat grafik CPUUtilization atau met MemoryUtilization rik dan mengatur jenis statistik ke Jumlah Sampel. Nilai yang dihasilkan adalah jumlah total RUNNING tugas untuk AdditionalWorker komponen. Memahami jumlah instance pekerja tambahan yang digunakan oleh lingkungan Anda dapat membantu Anda mengukur skala lingkungan Anda dan Anda dapat menggunakannya untuk mengoptimalkan jumlah pekerja tambahan.

Workers
Untuk mengevaluasi jumlah pekerja tambahan yang menggunakan Konsol Manajemen AWS
  1. Pilih AWS/MWAA namespace.

  2. Di tab Semua metrik, pilih dimensi Cluster.

  3. Dalam dimensi Cluster, untuk AdditionalWorker, pilih CPUUtilization atau metrik. MemoryUtilization

  4. Pada tab Grafik metrik, setel Periode ke 1 Menit dan Statistik ke Jumlah Sam pel.

webservers
Untuk mengevaluasi jumlah server web tambahan menggunakan Konsol Manajemen AWS
  1. Pilih AWS/MWAA namespace.

  2. Di tab Semua metrik, pilih dimensi Cluster.

  3. Dalam dimensi Cluster, untuk AdditionalWebservers, pilih CPUUtilization atau metrik. MemoryUtilization

  4. Pada tab Grafik metrik, setel Periode ke 1 Menit dan Statistik ke Jumlah Sam pel.

Untuk informasi selengkapnya, lihat Jumlah RUNNING tugas layanan di Panduan Pengembang Layanan Kontainer Amazon Elastic.

Metrik basis data

Metrik berikut berlaku untuk setiap instance database yang terkait dengan lingkungan Amazon MWAA.

Namespace Metrik Unit

AWS/MWAA

CPUUtilization

Persen

AWS/MWAA

DatabaseConnections

Hitungan

AWS/MWAA

DiskQueueDepth

Hitungan

AWS/MWAA

FreeableMemory

Byte

AWS/MWAA

VolumeWriteIOPS

Hitung per lima menit

AWS/MWAA

WriteIOPS

Hitungan per detik

AWS/MWAA

WriteLatency

Detik

AWS/MWAA

WriteThroughput

Byte per detik

Metrik antrian

Untuk informasi selengkapnya tentang unit dan deskripsi untuk metrik antrian berikut, lihat Met CloudWatch rik yang tersedia untuk Amazon SQS di Panduan Pengembang Layanan Antrian Sederhana Amazon.

Namespace Metrik Unit

AWS/MWAA

ApproximateAgeOfOldestTask

Detik

AWS/MWAA

RunningTasks

Hitungan

AWS/MWAA

QueuedTasks

Hitungan

Metrik Application Load Balancer

Metrik Application Load Balancer berlaku untuk server web yang berjalan di lingkungan Anda. Amazon MWAA menggunakan metrik ini untuk menskalakan server web Anda berdasarkan jumlah lalu lintas. Untuk informasi selengkapnya tentang unit dan deskripsi untuk metrik penyeimbang beban berikut, lihat met CloudWatch rik untuk Penyeimbang Beban Aplikasi Anda di Panduan Pengguna Penyeimbang Beban Aplikasi.

Namespace Metrik Unit

AWS/MWAA

ActiveConnectionCount

Hitungan