Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memahami metrik penskalaan terkelola di Amazon EMR
Amazon EMR menerbitkan metrik resolusi tinggi dengan data pada perincian satu menit saat penskalaan terkelola diaktifkan untuk kluster. Anda dapat melihat peristiwa pada setiap inisiasi dan penyelesaian pengubahan ukuran yang dikendalikan oleh penskalaan terkelola dengan EMR konsol Amazon atau konsol Amazon. CloudWatch CloudWatch metrik sangat penting agar penskalaan EMR terkelola Amazon dapat beroperasi. Kami menyarankan Anda memantau CloudWatch metrik dengan cermat untuk memastikan data tidak hilang. Untuk informasi selengkapnya tentang cara mengonfigurasi CloudWatch alarm untuk mendeteksi metrik yang hilang, lihat Menggunakan alarm Amazon CloudWatch . Untuk informasi selengkapnya tentang menggunakan CloudWatch peristiwa dengan AmazonEMR, lihat Memantau CloudWatch peristiwa.
Metrik berikut menunjukkan kapasitas saat ini atau kapasitas target suatu klaster. Metrik ini hanya tersedia apabila penskalaan terkelola diaktifkan. Untuk klaster yang terdiri dari armada instans, metrik kapasitas klaster diukur dalam Units. Untuk klaster yang terdiri dari grup instans, metrik kapasitas klaster diukur dalam Nodes atau vCPU berdasarkan jenis unit yang digunakan dalam kebijakan penskalaan terkelola.
| Metrik | Deskripsi |
|---|---|
|
Jumlah total target units/nodes/vCPUs dalam sebuah cluster sebagaimana ditentukan oleh scaling terkelola. Unit: Jumlah |
|
Jumlah total saat ini yang units/nodes/vCPUs tersedia di cluster yang sedang berjalan. Ketika ada permintaan perubahan ukuran klaster, metrik ini akan diperbarui setelah instans baru ditambahkan atau dihapus dari klaster. Unit: Jumlah |
|
Jumlah target CORE units/nodes/vCPUs dalam cluster yang ditentukan oleh penskalaan terkelola. Unit: Jumlah |
|
Jumlah saat ini CORE units/nodes/vCPUs berjalan dalam sebuah cluster. Unit: Jumlah |
|
Jumlah target TASK units/nodes/vCPUs dalam cluster yang ditentukan oleh penskalaan terkelola. Unit: Jumlah |
|
Jumlah saat ini TASK units/nodes/vCPUs berjalan dalam sebuah cluster. Unit: Jumlah |
Metrik berikut menunjukkan status penggunaan klaster dan aplikasi. Metrik ini tersedia untuk semua EMR fitur Amazon, tetapi dipublikasikan pada resolusi yang lebih tinggi dengan data pada perincian satu menit saat penskalaan terkelola diaktifkan untuk klaster. Anda dapat mengkorelasikan metrik berikut dengan metrik kapasitas klaster di tabel sebelumnya untuk memahami keputusan penskalaan terkelola.
| Metrik | Deskripsi |
|---|---|
|
|
Jumlah aplikasi yang diajukan ke YARN yang telah selesai. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
|
|
Jumlah aplikasi yang diajukan ke YARN yang berada dalam keadaan tertunda. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
|
|
Jumlah aplikasi yang diajukan ke YARN yang sedang berjalan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ContainerAllocated |
Jumlah wadah sumber daya yang dialokasikan oleh. ResourceManager Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
|
|
Jumlah kontainer dalam antrean yang belum dialokasikan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ContainerPendingRatio |
Rasio kontainer yang tertunda dengan kontainer yang dialokasikan (ContainerPendingRatio = ContainerPending / ContainerAllocated). Jika ContainerAllocated = 0, maka ContainerPendingRatio =ContainerPending. Nilai ContainerPendingRatio mewakili angka, bukan persentase. Nilai ini berguna untuk menskalakan sumber daya klaster berdasarkan perilaku alokasi kontainer. Unit: Jumlah |
|
|
Persentase HDFS penyimpanan yang saat ini digunakan. Kasus penggunaan: Menganalisis performa klaster Unit: Persen |
|
|
Menunjukkan bahwa klaster tidak lagi melakukan pekerjaan, tetapi masih hidup dan menimbulkan biaya. Diatur ke 1 jika tidak ada tugas yang berjalan dan tidak ada pekerjaan yang berjalan, dan diatur ke 0 jika sebaliknya. Nilai ini diperiksa pada interval lima menit dan nilai 1 hanya menunjukkan bahwa klaster tersebut menganggur ketika diperiksa, bukan bahwa klaster tersebut menganggur selama lima menit tersebut. Untuk menghindari positif yang salah, Anda harus menyalakan alarm ketika nilai ini 1 selama lebih dari satu pemeriksaan lima menit berturut-turut. Misalnya, Anda mungkin menyalakan alarm pada nilai ini jika telah 1 selama tiga puluh menit atau lebih. Kasus penggunaan: Memantau performa klaster Unit: Boolean |
|
|
Jumlah memori yang tersedia untuk dialokasikan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
|
|
Jumlah node yang saat ini menjalankan MapReduce tugas atau pekerjaan. Setara dengan YARN metrik Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
|
|
Persentase sisa memori yang tersedia untuk YARN (YARNMemoryAvailablePercentage= MemoryAvailable MB/MemoryTotalMB). Nilai ini berguna untuk penskalaan sumber daya cluster berdasarkan penggunaan YARN memori. Unit: Persen |
Membuat grafik metrik penskalaan terkelola
Anda dapat membuat grafik metrik untuk memvisualisasikan pola beban kerja klaster Anda dan keputusan penskalaan terkait yang dibuat oleh penskalaan EMR terkelola Amazon seperti yang ditunjukkan oleh langkah-langkah berikut.
Untuk membuat grafik metrik penskalaan terkelola di konsol CloudWatch
-
Buka CloudWatchkonsol
. -
Di panel navigasi, pilih Amazon EMR. Anda dapat mencari di pengidentifikasi klaster pada klaster tersebut untuk memantau.
-
Gulir ke bawah ke metrik untuk membuat grafik. Buka metrik untuk menampilkan grafik.
-
Untuk membuat grafik pada satu metrik atau lebih, pilih kotak centang di samping setiap metrik.
Contoh berikut mengilustrasikan aktivitas penskalaan EMR terkelola Amazon dari sebuah cluster. Grafik menunjukkan tiga periode penskalaan otomatis, yang menghemat biaya ketika ada beban kerja yang kurang aktif.
Semua metrik penggunaan dan kapasitas klaster dipublikasikan pada interval satu menit. Informasi statistik tambahan juga dikaitkan dengan setiap data satu menit, yang memungkinkan Anda merencanakan berbagai fungsi seperti Percentiles, Min, Max, Sum, Average, SampleCount.
Misalnya, grafik berikut menggambarkan metrik YARNMemoryAvailablePercentage yang sama pada persentil yang berbeda, P10, P50, P90, P99, bersama dengan Sum, Average, Min, SampleCount.
