Pemantauan tingkat aplikasi Pemantauan tingkat pekerjaan Pemantauan tingkat pekerja Job

Memantau aplikasi dan EMR pekerjaan tanpa server

Dengan CloudWatch metrik Amazon untuk EMR Tanpa Server, Anda dapat menerima CloudWatch metrik 1 menit dan mengakses CloudWatch dasbor untuk melihat near-real-time operasi dan kinerja aplikasi Tanpa Server Anda. EMR

EMRTanpa server mengirimkan metrik ke CloudWatch setiap menit. EMRTanpa server memancarkan metrik ini di tingkat aplikasi serta pekerjaan, tipe pekerja, dan level. capacity-allocation-type

Untuk memulai, gunakan template CloudWatch dasbor EMR Tanpa Server yang disediakan di GitHub repositori EMR Tanpa Server dan terapkan.

catatan

EMRBeban kerja interaktif tanpa server hanya mengaktifkan pemantauan tingkat aplikasi, dan memiliki dimensi tipe pekerja baru. Spark_Kernel Untuk memantau dan men-debug beban kerja interaktif Anda, Anda dapat melihat log dan Apache Spark UI dari dalam Ruang Kerja Studio Anda. EMR

Tabel di bawah ini menjelaskan dimensi EMR Tanpa Server yang tersedia dalam namespace. AWS/EMRServerless

Dimensi untuk EMR metrik Tanpa Server
Dimensi	Deskripsi
`ApplicationId`	Filter untuk semua metrik aplikasi Tanpa EMR Server.
`JobId`	Filter untuk semua metrik menjalankan pekerjaan EMR Tanpa Server.
`WorkerType`	Filter untuk semua metrik dari jenis pekerja tertentu. Misalnya, Anda dapat memfilter untuk `SPARK_DRIVER` dan `SPARK_EXECUTORS` untuk pekerjaan Spark.
`CapacityAllocationType`	Filter untuk semua metrik dari jenis alokasi kapasitas tertentu. Misalnya, Anda dapat memfilter `PreInitCapacity` untuk kapasitas pra-inisialisasi dan `OnDemandCapacity` untuk yang lainnya.

Pemantauan tingkat aplikasi

Anda dapat memantau penggunaan kapasitas di tingkat aplikasi EMR Tanpa Server dengan metrik Amazon CloudWatch . Anda juga dapat mengatur satu tampilan untuk memantau penggunaan kapasitas aplikasi di CloudWatch dasbor.

EMRMetrik aplikasi tanpa server
Metrik	Deskripsi	Dimensi primer	Dimensi sekunder
`CPUAllocated`	Jumlah total yang vCPUs dialokasikan.	`ApplicationId`	`ApplicationId`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	Jumlah total pekerja yang menganggur.	`ApplicationId`	`ApplicationId`, `WorkerType`, `CapacityAllocationType`
`MaxCPUAllowed`	Maksimum yang CPU diizinkan untuk aplikasi.	`ApplicationId`	N/A
`MaxMemoryAllowed`	Memori maksimum dalam GB diperbolehkan untuk aplikasi.	`ApplicationId`	N/A
`MaxStorageAllowed`	Penyimpanan maksimum dalam GB diperbolehkan untuk aplikasi.	`ApplicationId`	N/A
`MemoryAllocated`	Total memori dalam GB dialokasikan.	`ApplicationId`	`ApplicationId`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	Jumlah total pekerja yang menunggu penciptaan.	`ApplicationId`	`ApplicationId`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	Jumlah total pekerja yang digunakan oleh aplikasi.	`ApplicationId`	`ApplicationId`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	Total penyimpanan disk dalam GB dialokasikan.	`ApplicationId`	`ApplicationId`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	Jumlah total pekerja yang tersedia.	`ApplicationId`	`ApplicationId`, `WorkerType`, `CapacityAllocationType`

Pemantauan tingkat pekerjaan

Amazon EMR Serverless mengirimkan metrik tingkat pekerjaan berikut ke setiap satu menit. Amazon CloudWatch Anda dapat melihat nilai metrik untuk pekerjaan agregat yang dijalankan berdasarkan status menjalankan pekerjaan. Unit untuk setiap metrik adalah hitungan.

EMRMetrik tingkat pekerjaan tanpa server
Metrik	Deskripsi	Dimensi primer
`SubmittedJobs`	Jumlah pekerjaan di negara bagian yang Dikirim.	`ApplicationId`
`PendingJobs`	Jumlah pekerjaan dalam keadaan Tertunda.	`ApplicationId`
`ScheduledJobs`	Jumlah pekerjaan dalam keadaan Terjadwal.	`ApplicationId`
`RunningJobs`	Jumlah pekerjaan dalam keadaan Running.	`ApplicationId`
`SuccessJobs`	Jumlah pekerjaan dalam keadaan Sukses.	`ApplicationId`
`FailedJobs`	Jumlah pekerjaan dalam keadaan Gagal.	`ApplicationId`
`CancellingJobs`	Jumlah pekerjaan di negara Membatalkan.	`ApplicationId`
`CancelledJobs`	Jumlah pekerjaan di negara yang Dibatalkan.	`ApplicationId`

Anda dapat memantau metrik khusus mesin untuk menjalankan dan menyelesaikan pekerjaan Tanpa EMR Server dengan aplikasi khusus mesin. UIs Saat Anda melihat UI untuk pekerjaan yang sedang berjalan, Anda melihat UI aplikasi langsung dengan pembaruan waktu nyata. Saat Anda melihat UI untuk pekerjaan yang diselesaikan, Anda akan melihat UI aplikasi persisten.

Menjalankan pekerjaan

Untuk menjalankan pekerjaan EMR Tanpa Server, Anda dapat melihat antarmuka real-time yang menyediakan metrik khusus mesin. Anda dapat menggunakan Apache Spark UI atau Hive Tez UI untuk memantau dan men-debug pekerjaan Anda. Untuk mengaksesnyaUIs, gunakan konsol EMR Studio atau minta URL titik akhir yang aman dengan. AWS Command Line Interface

Lowongan kerja yang telah selesai

Untuk pekerjaan EMR Tanpa Server yang telah selesai, Anda dapat menggunakan Spark History Server atau Persistent Hive Tez UI untuk melihat detail pekerjaan, tahapan, tugas, dan metrik untuk menjalankan pekerjaan Spark atau Hive. Untuk mengaksesnyaUIs, gunakan konsol EMR Studio, atau minta URL titik akhir yang aman dengan. AWS Command Line Interface

Pemantauan tingkat pekerja Job

Amazon EMR Serverless mengirimkan metrik tingkat pekerja kerja berikut yang tersedia di AWS/EMRServerless namespace dan grup metrik Job Worker Metrics ke Amazon. CloudWatch EMRTanpa server mengumpulkan poin data dari pekerja individu selama pekerjaan berjalan di tingkat pekerjaan, tipe pekerja, dan tingkat. capacity-allocation-type Anda dapat menggunakan ApplicationId sebagai dimensi untuk memantau beberapa pekerjaan yang termasuk dalam aplikasi yang sama.

EMRMetrik tingkat pekerja pekerjaan tanpa server
Metrik	Deskripsi	Unit	Dimensi primer	Dimensi sekunder
`WorkerCpuAllocated`	Jumlah total v CPU core yang dialokasikan untuk pekerja dalam menjalankan pekerjaan.	Tidak ada	`JobId`	`ApplicationId`, `WorkerType`, dan `CapacityAllocationType`
`WorkerCpuUsed`	Jumlah total v CPU core yang digunakan oleh pekerja dalam menjalankan pekerjaan.	Tidak ada	`JobId`	`ApplicationId`, `WorkerType`, dan `CapacityAllocationType`
`WorkerMemoryAllocated`	Total memori dalam GB dialokasikan untuk pekerja dalam menjalankan pekerjaan.	Gigabyte (GB)	`JobId`	`ApplicationId`, `WorkerType`, dan `CapacityAllocationType`
`WorkerMemoryUsed`	Total memori dalam GB yang digunakan oleh pekerja dalam menjalankan pekerjaan.	Gigabyte (GB)	`JobId`	`ApplicationId`, `WorkerType`, dan `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	Jumlah byte penyimpanan sementara yang dialokasikan untuk pekerja dalam menjalankan pekerjaan.	Gigabyte (GB)	`JobId`	`ApplicationId`, `WorkerType`, dan `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	Jumlah byte penyimpanan sementara yang digunakan oleh pekerja dalam menjalankan pekerjaan.	Gigabyte (GB)	`JobId`	`ApplicationId`, `WorkerType`, dan `CapacityAllocationType`
`WorkerStorageReadBytes`	Jumlah byte yang dibaca dari penyimpanan oleh pekerja dalam menjalankan pekerjaan.	Byte	`JobId`	`ApplicationId`, `WorkerType`, dan `CapacityAllocationType`
`WorkerStorageWriteBytes`	Jumlah byte yang ditulis ke penyimpanan dari pekerja dalam menjalankan pekerjaan.	Byte	`JobId`	`ApplicationId`, `WorkerType`, dan `CapacityAllocationType`

Langkah-langkah di bawah ini menjelaskan cara melihat berbagai jenis metrik.

Console

Untuk mengakses UI aplikasi Anda dengan konsol

Arahkan ke aplikasi EMR Tanpa Server Anda di EMR Studio dengan petunjuk di Memulai dari konsol.
Untuk melihat aplikasi UIs dan log khusus mesin untuk pekerjaan yang sedang berjalan:
1. Pilih pekerjaan dengan RUNNING status.
2. Pilih pekerjaan di halaman Detail aplikasi, atau navigasikan ke halaman Detail Pekerjaan untuk pekerjaan Anda.
3. Di bawah menu tarik-turun Display UI, pilih Spark UI atau Hive Tez UI untuk menavigasi ke UI aplikasi untuk jenis pekerjaan Anda.
4. Untuk melihat log mesin Spark, navigasikan ke tab Executors di UI Spark, dan pilih tautan Log untuk driver. Untuk melihat log mesin Hive, pilih tautan Log yang sesuai DAG di UI Hive Tez.
Untuk melihat aplikasi UIs dan log khusus mesin untuk pekerjaan yang diselesaikan:
1. Pilih pekerjaan dengan SUCCESS status.
2. Pilih pekerjaan di halaman detail Aplikasi lamaran Anda atau navigasikan ke halaman detail Pekerjaan.
3. Di bawah menu tarik-turun Display UI, pilih Spark History Server atau Persistent Hive Tez UI untuk menavigasi ke UI aplikasi untuk jenis pekerjaan Anda.
4. Untuk melihat log mesin Spark, navigasikan ke tab Executors di UI Spark, dan pilih tautan Log untuk driver. Untuk melihat log mesin Hive, pilih tautan Log yang sesuai DAG di UI Hive Tez.

AWS CLI

Untuk mengakses UI aplikasi Anda dengan AWS CLI

Untuk menghasilkan URL yang dapat Anda gunakan untuk mengakses UI aplikasi Anda untuk pekerjaan yang berjalan dan diselesaikan, hubungi file GetDashboardForJobRunAPI.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
URLYang Anda hasilkan berlaku selama satu jam.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Pemantauan

Metrik mesin percikan