Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Alat apa yang tersedia untuk memecahkan masalah cluster Amazon EMR?

Untuk mengidentifikasi dan memperbaiki kesalahan cluster, Anda dapat menggunakan alat yang dijelaskan di halaman ini. Anda mungkin perlu menginisialisasi beberapa alat saat meluncurkan cluster. Alat lain tersedia untuk setiap cluster secara default.

Lihat detail cluster EMR

Anda dapat menggunakan API Konsol Manajemen AWS, AWS CLI, atau EMR untuk mengambil informasi terperinci tentang cluster EMR dan eksekusi pekerjaan. Untuk informasi lebih lanjut tentang menggunakan Konsol Manajemen AWS dan AWS CLI, lihatLihat status dan detail klaster EMR Amazon.

Panel detail konsol Amazon EMR

Dalam daftar Cluster di konsol Amazon EMR, Anda dapat melihat informasi tingkat tinggi tentang status setiap cluster di akun Anda dan Wilayah AWS. Daftar ini menampilkan semua cluster aktif dan dihentikan yang Anda luncurkan dalam dua bulan terakhir. Dari daftar Klaster, Anda dapat memilih sebuah Nama klaster untuk melihat detail klaster. Informasi ini tersusun dalam kategori yang berbeda untuk memudahkan navigasi.

Antar muka pengguna Aplikasi yang tersedia di halaman detail cluster dapat berguna untuk memecahkan masalah cluster. Ini memberikan status aplikasi YARN, dan untuk beberapa, seperti aplikasi Spark, Anda dapat menelusuri metrik dan aspek yang berbeda seperti pekerjaan, tahapan, dan pelaksana. Untuk informasi selengkapnya, lihat Lihat riwayat aplikasi Amazon EMR. Fitur ini hanya tersedia untuk Amazon EMR rilis 5.8.0 dan lebih tinggi.

Antarmuka baris perintah Amazon EMR

Anda dapat menemukan detail tentang cluster dari AWS CLI dengan --describe argumen.

API Amazon EMR

Anda dapat menemukan detail tentang sebuah klaster dari API menggunakan tindakan DescribeJobFlows.

Lihat detail kesalahan cluster EMR

Ketika cluster EMR berakhir dengan kesalahan, DescribeCluster dan ListClusters API mengembalikan kode kesalahan dan pesan kesalahan. Untuk kesalahan cluster tertentu, array ErrorDetail data dapat membantu Anda memecahkan masalah kegagalan.

Untuk daftar kode kesalahan yang menyertakan ErrorDetail data, lihatKode kesalahan dengan ErrorDetail informasi di Amazon EMR.

Jalankan skrip dan konfigurasikan proses Amazon EMR

Sebagai bagian dari proses pemecahan masalah Anda, Anda mungkin merasa terbantu untuk menjalankan skrip kustom di cluster Anda atau melihat dan mengkonfigurasi proses cluster.

Lihat dan mulai ulang proses aplikasi

Akan sangat membantu untuk melihat proses yang sedang berjalan di cluster Anda untuk mendiagnosis potensi masalah. Anda dapat menghentikan dan memulai ulang proses cluster dengan menghubungkan ke node master cluster Anda. Untuk informasi selengkapnya, lihat Lihat dan mulai ulang Amazon EMR dan proses aplikasi (daemon).

Jalankan perintah dan skrip tanpa koneksi SSH

Untuk menjalankan perintah atau skrip pada cluster Anda sebagai langkah, Anda dapat menggunakan script-runner.jar alat command-runner.jar atau tanpa membuat koneksi SSH ke node master. Untuk informasi selengkapnya, lihat Menjalankan perintah dan skrip pada cluster Amazon EMR.

Melihat file log

Amazon EMR dan Hadoop sama-sama menghasilkan berkas log selama klaster berjalan. Anda dapat mengakses file log ini dari beberapa alat yang berbeda, tergantung pada konfigurasi yang Anda tentukan saat meluncurkan cluster. Untuk informasi selengkapnya, lihat Konfigurasikan pencatatan dan debugging cluster Amazon EMR.

Berkas log pada simpul utama

Setiap cluster menerbitkan file log ke direktori mnt/var /log/ pada node master. Berkas log ini hanya tersedia saat klaster berjalan.

Berkas log yang diarsipkan ke Amazon S3

Jika Anda meluncurkan cluster dan menentukan jalur log Amazon S3, cluster menyalin file log yang disimpan di/mnt/var/log/ pada node master ke Amazon S3 dalam interval 5 menit. Hal ini memastikan bahwa Anda memiliki akses ke file berkas log bahkan setelah klaster diakhiri. Karena file diarsipkan dalam interval 5 menit, beberapa menit terakhir dari klaster yang tiba-tiba diakhiri mungkin tidak tersedia.

Memantau kinerja cluster EMR

Amazon EMR menyediakan beberapa alat untuk memantau performa klaster Anda.

Antarmuka web Hadoop

Setiap klaster menerbitkan satu set antarmuka web pada simpul utama yang berisi informasi tentang klaster. Anda dapat mengakses halaman web ini dengan menggunakan terowongan SSH untuk menghubungkan mereka pada simpul utama. Untuk informasi selengkapnya, lihat Melihat antarmuka web yang di-host pada klaster Amazon EMR.

CloudWatch metrik

Setiap cluster melaporkan metrik ke CloudWatch. CloudWatch adalah layanan web yang melacak metrik, dan yang dapat Anda gunakan untuk mengatur alarm pada metrik tersebut. Untuk informasi selengkapnya, lihat Memantau metrik Amazon EMR dengan CloudWatch.