Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Praktik Terbaik Pengamatan EMR
Pengamatan EMR mencakup pendekatan pemantauan dan manajemen yang komprehensif untuk cluster AWS EMR. Yayasan ini bertumpu pada Amazon CloudWatch sebagai layanan pemantauan utama, dilengkapi dengan EMR Studio, dan alat pihak ketiga seperti Prometheus dan Grafana untuk peningkatan visibilitas. Dalam dokumen ini, kami mengeksplorasi aspek-aspek spesifik dari pengamatan cluster:
-
Pengamatan Spark
(GitHub) - Berkenaan dengan antarmuka pengguna Spark, Anda memiliki tiga opsi di Amazon EMR. -
Pemecahan masalah Spark
(GitHub) - Resolusi untuk kesalahan. -
Pemantauan Cluster EMR
(GitHub) - Memantau kinerja cluster. -
Pemecahan masalah EMR
(GitHub) — Mengidentifikasi, mendiagnosis, dan menyelesaikan masalah cluster EMR umum. -
Pengoptimalan biaya
(GitHub) — Bagian ini menguraikan praktik terbaik untuk menjalankan beban kerja yang hemat biaya.
Alat Optimasi Kinerja untuk Aplikasi Apache Spark
-
AWS
Alat EMR Advisor menganalisis log peristiwa Spark untuk memberikan rekomendasi khusus untuk mengoptimalkan konfigurasi cluster EMR, meningkatkan kinerja, dan mengurangi biaya. Dengan memanfaatkan data historis, ini menyarankan ukuran eksekutor dan pengaturan infrastruktur yang ideal, memungkinkan pemanfaatan sumber daya yang lebih efisien dan peningkatan kinerja cluster secara keseluruhan. -
https://github.com/amzn/amazon-codeguru-profiler-for-spark
Alat CodeGuru Amazon Profiler membantu pengembang mengidentifikasi hambatan kinerja dan inefisiensi dalam aplikasi Spark mereka dengan mengumpulkan dan menganalisis data runtime. Alat ini terintegrasi dengan mulus dengan aplikasi Spark yang ada, membutuhkan pengaturan minimal, dan memberikan wawasan terperinci melalui AWS Konsol tentang penggunaan CPU, pola memori, dan hotspot kinerja.
