Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Lowongan kerja Monitoring AWS Glue Spark
Topik
Metrik Spark tersedia di AWS Glue Studio
Tab Metrik menampilkan metrik yang dikumpulkan saat sebuah eksekusi tugas dan pembuatan profil diaktifkan. Grafik berikut ditunjukkan dalam pekerjaan Spark:
Pergerakan Data ETL
Profil Memori: Driver dan Pelaksana
Pilih Lihat metrik tambahan untuk menampilkan grafik berikut:
Pergerakan Data ETL
Profil Memori: Driver dan Pelaksana
Data yang Diacak di Seluruh Pelaksana
Beban CPU: Driver dan Pelaksana
Eksekusi Tugas: Pelaksana Aktif, Tahapan Selesai & Pelaksana Maksimal yang Dibutuhkan
Data untuk grafik ini didorong ke CloudWatch metrik jika pekerjaan dikonfigurasi untuk mengumpulkan metrik. Untuk informasi selengkapnya tentang cara mengaktifkan metrik dan menafsirkan grafik, lihat Pemantauan dan debugging Job.
contoh Grafik pergerakan data ETL
Grafik Pergerakan Data ETL menunjukkan metrik berikut:
Jumlah byte yang dibaca dari Amazon S3 oleh semua pelaksana—glue.ALL.s3.filesystem.read_bytes
-
Jumlah byte yang ditulis ke Amazon S3 oleh semua pelaksana—glue.ALL.s3.filesystem.write_bytes
contoh Grafik profil memori
Grafik Profil Memori menampilkan metrik berikut ini:
Fraksi memori yang digunakan oleh tumpukan JVM untuk driver ini (skala: 0–1) oleh driver, yakni pelaksana diidentifikasi oleh executorId, atau semua pelaksana—
contoh Pengocokan data di seluruh grafik pelaksana
Grafik Data yang Diacak di Seluruh Pelaksana menunjukkan metrik berikut:
Jumlah byte yang dibaca oleh semua pelaksana untuk mengacak data antara mereka—glue.driver.aggregate.shuffleLocalBytesRead
-
Jumlah byte yang ditulis oleh semua pelaksana untuk mengacak data antara mereka—glue.driver.aggregate.shuffleBytesWritten
contoh Grafik beban CPU
Grafik Beban CPU menunjukkan metrik berikut:
Fraksi beban sistem CPU yang digunakan (skala: 0–1) oleh driver, yakni pelaksana yang diidentifikasi oleh executorId, atau semua pelaksana—
contoh Grafik eksekusi Job
Grafik Eksekusi Tugas menampilkan metrik berikut:
Jumlah pelaksana yang berjalan aktif—glue.driver.ExecutorAllocationManager.executors.numberAllExecutors
Jumlah tahap yang telah selesai—glue.aggregate.numCompletedStages
Jumlah maksimal pelaksana yang dibutuhkan—glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
