Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Cluster EMR Amazon terdiri dari node yang berjalan di instans Amazon EC2 . Jika instans tersebut terikat sumber daya (seperti kehabisan CPU atau memori), mengalami masalah konektivitas jaringan, atau diakhiri, kecepatan pemrosesan klaster akan terganggu.
Ada hingga tiga jenis simpul dalam sebuah klaster:
-
Simpul Utama — mengelola klaster. Jika mengalami masalah performa, seluruh klaster terpengaruh.
-
Simpul Inti — memproses tugas pemetaan-peredam dan memelihara Hadoop Distributed Filesystem (HDFS). Jika salah satu simpul ini mengalami masalah performa, hal itu dapat memperlambat operasi HDFS serta pemrosesan pemetaan-peredaman. Anda dapat menambahkan simpul inti tambahan ke suatu klaster untuk meningkatkan performa, tetapi tidak dapat menghapus simpul inti. Untuk informasi selengkapnya, lihat Mengubah ukuran cluster EMR Amazon yang sedang berjalan secara manual.
-
simpul tugas — memproses tugas pemetaan-peredaman. Simpul ini adalah sumber komputasi murni dan tidak menyimpan data. Anda dapat menambahkan simpul tugas ke sebuah klaster untuk mempercepat performa, atau menghapus simpul tugas yang tidak diperlukan. Untuk informasi selengkapnya, lihat Mengubah ukuran cluster EMR Amazon yang sedang berjalan secara manual.
Ketika Anda melihat kesehatan klaster, Anda harus melihat performa klaster secara keseluruhan, serta performa masing-masing instans. Ada beberapa alat yang dapat Anda gunakan:
Periksa kesehatan cluster dengan CloudWatch
Setiap klaster EMR Amazon melaporkan metrik ke. CloudWatch Metrik ini memberikan ringkasan informasi performa tentang klaster, seperti total beban, pemanfaatan HDFS, tugas berjalan, tugas yang tersisa, blok yang rusak, dan banyak lagi. Melihat CloudWatch metrik memberi Anda gambaran besar tentang apa yang terjadi dengan cluster Anda dan dapat memberikan wawasan tentang apa yang menyebabkan perlambatan dalam pemrosesan. Selain menggunakan CloudWatch untuk menganalisis masalah kinerja yang ada, Anda dapat menyetel alarm yang CloudWatch menyebabkan peringatan jika terjadi masalah kinerja di masa mendatang. Untuk informasi selengkapnya, lihat Memantau metrik Amazon EMR dengan CloudWatch.
Periksa status pekerjaan dan kesehatan HDFS
Gunakan tab Antarmuka pengguna aplikasi pada halaman detail klaster untuk melihat detail aplikasi YARN. Untuk aplikasi tertentu, Anda dapat menelusuri detail lebih lanjut dan mengakses log secara langsung. Hal ini sangat berguna untuk aplikasi Spark. Untuk informasi selengkapnya, lihat Lihat riwayat aplikasi Amazon EMR.
Hadoop menyediakan serangkaian antarmuka web yang dapat Anda gunakan untuk melihat informasi. Untuk informasi selengkapnya tentang cara mengakses antarmuka web ini, lihat Melihat antarmuka web yang di-host pada klaster Amazon EMR.
-
JobTracker — memberikan informasi tentang kemajuan pekerjaan yang sedang diproses oleh cluster. Anda dapat menggunakan antarmuka ini untuk mengidentifikasi kapan pekerjaan menjadi macet.
-
HDFS NameNode — memberikan informasi tentang persentase pemanfaatan HDFS dan ruang yang tersedia pada setiap node. Anda dapat menggunakan antarmuka ini untuk mengidentifikasi ketika HDFS menjadi terikat sumber daya dan membutuhkan kapasitas tambahan.
-
TaskTracker — memberikan informasi tentang tugas-tugas pekerjaan yang sedang diproses oleh cluster. Anda dapat menggunakan antarmuka ini untuk mengidentifikasi kapan tugas menjadi macet.
Periksa kesehatan instans dengan Amazon EC2
Cara lain untuk mencari informasi tentang status instance di cluster Anda adalah dengan menggunakan EC2 konsol Amazon. Karena setiap node dalam cluster berjalan pada EC2 instance, Anda dapat menggunakan alat yang disediakan oleh Amazon EC2 untuk memeriksa statusnya. Untuk informasi selengkapnya, lihat Lihat instance klaster di Amazon EC2.
