Pemantauan pembaruan rilis metrik Application-level pemantauan Job-level pemantauan Pemantauan tingkat pekerja pekerjaan

Memantau aplikasi dan pekerjaan tanpa server EMR

Dengan CloudWatch metrik Amazon untuk EMR Serverless, Anda dapat menerima CloudWatch metrik 1 menit dan mengakses CloudWatch dasbor untuk mengakses operasi dan kinerja aplikasi Tanpa Server EMR Anda yang hampir real-time.

EMR Serverless mengirimkan metrik ke CloudWatch setiap menit. EMR Serverless memancarkan metrik ini di tingkat aplikasi serta tingkat pekerjaan, tipe pekerja, dan tipe alokasi-kapasitas.

Untuk memulai, gunakan template CloudWatch dasbor EMR Serverless yang disediakan di GitHub repositori https://github.com/aws-samples/emr-serverless-samples/tree/main/cloudformation/emr-serverless-cloudwatch-dashboard/ EMR Serverless dan terapkan.

catatan

Beban kerja interaktif EMR Serverless hanya mengaktifkan pemantauan tingkat aplikasi, dan memiliki dimensi tipe pekerja baru,. Spark_Kernel Untuk memantau dan men-debug beban kerja interaktif Anda, akses log dan Apache Spark UI dari dalam Ruang Kerja EMR Studio Anda.

Metrik pemantauan

penting

Kami merestrukturisasi tampilan metrik kami untuk menambah ApplicationName dan JobName sebagai dimensi. Untuk rilis 7.10 dan yang lebih baru, metrik lama tidak akan lagi diperbarui. Untuk rilis EMR di bawah 7.10, metrik lama masih tersedia.

Dimensi saat ini

Tabel di bawah ini menjelaskan dimensi EMR Serverless yang tersedia dalam namespace. AWS/EMR Serverless

Dimensi untuk metrik Tanpa Server EMR
Dimensi	Deskripsi
`ApplicationId`	Filter untuk semua metrik aplikasi EMR Serverless menggunakan ID aplikasi.
`ApplicationName`	Filter untuk semua metrik aplikasi EMR Serverless menggunakan nama. Jika nama tidak disediakan, atau berisi karakter non-ASCII, nama tersebut diterbitkan sebagai [Tidak ditentukan].
`JobId`	Memfilter untuk semua metrik EMR Tanpa Server ID pekerjaan yang dijalankan.
`JobName`	Filter untuk semua metrik pekerjaan EMR Serverless dijalankan menggunakan nama. Jika nama tidak disediakan, atau berisi karakter non-ASCII, nama tersebut diterbitkan sebagai [Tidak ditentukan].
`WorkerType`	Filter untuk semua metrik dari jenis pekerja tertentu. Misalnya, Anda dapat memfilter untuk `SPARK_DRIVER` dan `SPARK_EXECUTORS` untuk pekerjaan Spark.
`CapacityAllocationType`	Filter untuk semua metrik dari jenis alokasi kapasitas tertentu. Misalnya, Anda dapat memfilter `PreInitCapacity` untuk kapasitas pra-inisialisasi dan `OnDemandCapacity` untuk yang lainnya.

Application-level pemantauan

Anda dapat memantau penggunaan kapasitas di tingkat aplikasi EMR Serverless dengan metrik Amazon CloudWatch . Anda juga dapat mengatur tampilan tunggal untuk memantau penggunaan kapasitas aplikasi di CloudWatch dasbor.

Metrik aplikasi tanpa server EMR
Metrik	Deskripsi	Unit	Dimensi
`MaxCPUAllowed`	CPU maksimum yang diizinkan untuk aplikasi.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	Memori maksimum dalam GB diizinkan untuk aplikasi.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	Penyimpanan maksimum dalam GB diizinkan untuk aplikasi.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	Jumlah total vCPU yang dialokasikan.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	Jumlah total pekerja yang menganggur.	Hitungan	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	Total memori dalam GB yang dialokasikan.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	Jumlah total pekerja yang menunggu penciptaan.	Hitungan	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	Jumlah total pekerja yang digunakan oleh aplikasi.	Hitungan	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	Total penyimpanan disk dalam GB yang dialokasikan.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	Jumlah total pekerja yang tersedia.	Hitungan	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Job-level pemantauan

Amazon EMR Serverless mengirimkan metrik tingkat pekerjaan berikut ke Amazon CloudWatch setiap satu menit. Anda dapat mengakses nilai metrik untuk pekerjaan agregat yang dijalankan berdasarkan status job run. Unit untuk setiap metrik adalah hitungan.

Metrik tingkat pekerjaan tanpa server EMR
Metrik	Deskripsi	Dimensi
`SubmittedJobs`	Jumlah pekerjaan dalam status Dikirim.	`ApplicationId`, `ApplicationName`
`PendingJobs`	Jumlah pekerjaan dalam status Tertunda.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	Jumlah pekerjaan dalam status Terjadwal.	`ApplicationId`, `ApplicationName`
`RunningJobs`	Jumlah pekerjaan dalam keadaan Berjalan.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	Jumlah pekerjaan di negara Sukses.	`ApplicationId`, `ApplicationName`
`FailedJobs`	Jumlah pekerjaan dalam keadaan Gagal.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	Jumlah pekerjaan di negara bagian Pembatalan.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	Jumlah pekerjaan dalam status Dibatalkan.	`ApplicationId`, `ApplicationName`

Anda dapat memantau metrik khusus mesin untuk menjalankan dan menyelesaikan pekerjaan EMR Serverless dengan UI aplikasi khusus mesin. Saat Anda mengakses UI untuk pekerjaan yang sedang berjalan, UI aplikasi langsung ditampilkan dengan pembaruan waktu nyata. Saat Anda mengakses UI untuk pekerjaan yang diselesaikan, UI aplikasi persisten akan ditampilkan.

Lowongan kerja

Untuk pekerjaan EMR Serverless yang sedang berjalan, akses antarmuka real-time yang menyediakan metrik khusus mesin. Anda dapat menggunakan Apache Spark UI atau UI Hive Tez untuk memantau dan men-debug pekerjaan Anda. Untuk mengakses UI ini, gunakan konsol EMR Studio atau minta titik akhir URL yang aman dengan. AWS Command Line Interface

Pekerjaan yang diselesaikan

Untuk pekerjaan EMR Serverless Anda yang telah selesai, gunakan Server Sejarah Spark atau UI Tez Hive Persistent untuk mengakses detail pekerjaan, tahapan, tugas, dan metrik untuk menjalankan tugas Spark atau Hive. Untuk mengakses UI ini, gunakan konsol EMR Studio, atau minta titik akhir URL yang aman dengan. AWS Command Line Interface

Pemantauan tingkat pekerja pekerjaan

Amazon EMR Serverless mengirimkan metrik tingkat pekerja pekerjaan berikut yang tersedia di AWS/EMRServerless namespace dan grup Job Worker Metrics metrik ke Amazon. CloudWatch EMR Serverless mengumpulkan titik data dari pekerja individu selama pekerjaan dijalankan di tingkat pekerjaan, tipe pekerja, dan tingkat tipe alokasi kapasitas. Anda dapat menggunakan ApplicationId sebagai dimensi untuk memantau beberapa pekerjaan yang termasuk dalam aplikasi yang sama.

catatan

Untuk melihat total CPU dan Memori yang digunakan oleh pekerjaan EMR Serverless saat melihat metrik di CloudWatch konsol Amazon, gunakan Statistik sebagai Jumlah dan Periode sebagai 1 menit.

EMR Metrik tingkat pekerja pekerjaan tanpa server
Metrik	Deskripsi	Unit	Dimensi
`WorkerCpuAllocated`	Jumlah total core vCPU yang dialokasikan untuk pekerja dalam pekerjaan yang dijalankan.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerCpuUsed`	Jumlah total core vCPU yang digunakan oleh pekerja dalam pekerjaan yang dijalankan.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerMemoryAllocated`	Total memori dalam GB yang dialokasikan untuk pekerja dalam proses pekerjaan.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerMemoryUsed`	Total memori dalam GB digunakan oleh pekerja dalam pekerjaan yang dijalankan.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	Jumlah byte penyimpanan sementara yang dialokasikan untuk pekerja dalam pekerjaan yang dijalankan.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	Jumlah byte penyimpanan sementara yang digunakan oleh pekerja dalam pekerjaan yang dijalankan.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerStorageReadBytes`	Jumlah byte yang dibaca dari penyimpanan oleh pekerja dalam proses pekerjaan.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerStorageWriteBytes`	Jumlah byte yang ditulis ke penyimpanan dari pekerja dalam proses pekerjaan.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`

Langkah-langkah di bawah ini menjelaskan cara mengakses berbagai jenis metrik.

Console

Untuk mengakses UI aplikasi Anda dengan konsol

Arahkan ke aplikasi EMR Serverless Anda di EMR Studio dengan instruksi di Mem ulai dari konsol.
Untuk mengakses UI dan log aplikasi khusus mesin untuk pekerjaan yang sedang berjalan:
1. Pilih pekerjaan dengan RUNNING status.
2. Pilih pekerjaan di halaman detail aplikasi, atau navigasikan ke halaman detail pekerjaan untuk pekerjaan Anda.
3. Di bawah menu tarik -turun Display UI, pilih Spark UI atau Hive Tez UI untuk menavigasi ke UI aplikasi untuk jenis pekerjaan Anda.
4. Untuk mengakses log mesin Spark, navigasikan ke tab Executors di UI Spark, dan pilih tautan Log untuk driver. Untuk mengakses log mesin Hive, pilih tautan Logs untuk DAG yang sesuai di UI Hive Tez.
Untuk mengakses UI dan log aplikasi khusus mesin untuk pekerjaan yang diselesaikan:
1. Pilih pekerjaan dengan SUCCESS status.
2. Pilih pekerjaan di halaman detail aplikasi Anda atau navigasikan ke halaman detail pekerjaan.
3. Di bawah menu tarik -turun Display UI, pilih Spark History Server atau Per sistent Hive Tez UI untuk menavigasi ke UI aplikasi untuk jenis pekerjaan Anda.
4. Untuk mengakses log mesin Spark, navigasikan ke tab Executors di UI Spark, dan pilih tautan Log untuk driver. Untuk mengakses log mesin Hive, pilih tautan Logs untuk DAG yang sesuai di UI Hive Tez.

AWS CLI

Untuk mengakses UI aplikasi Anda dengan AWS CLI

Untuk membuat URL yang digunakan untuk mengakses UI aplikasi Anda untuk menjalankan dan menyelesaikan pekerjaan, panggil GetDashboardForJobRun API.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
URL yang Anda buat valid selama satu jam.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Memantau

Metrik mesin Spark