Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Alat apa yang tersedia untuk memecahkan masalah klaster EMR Amazon?

Untuk mengidentifikasi dan memperbaiki kesalahan klaster, Anda dapat menggunakan alat yang dijelaskan di halaman ini. Anda mungkin perlu menginisialisasi beberapa alat saat meluncurkan cluster. Alat lain tersedia untuk setiap cluster secara default.

Lihat detail klaster EMR

Anda dapat menggunakan AWS Management Console, AWS CLI, atau EMR API untuk mengambil informasi rinci tentang klaster EMR dan eksekusi pekerjaan. Untuk informasi lebih lanjut tentang menggunakan AWS Management Console dan AWS CLI, lihatLihat status dan detail klaster EMR Amazon.

Panel detail konsol Amazon EMR

Dalam daftar Clusters di konsol EMR Amazon, Anda dapat melihat informasi tingkat tinggi tentang status setiap cluster di akun Anda dan. Wilayah AWS Daftar ini menampilkan semua cluster aktif dan dihentikan yang Anda luncurkan dalam dua bulan terakhir. Dari daftar Klaster, Anda dapat memilih sebuah Nama klaster untuk melihat detail klaster. Informasi ini tersusun dalam kategori yang berbeda untuk memudahkan navigasi.

Antarmuka pengguna Aplikasi yang tersedia di halaman detail cluster dapat berguna untuk memecahkan masalah cluster. Ini memberikan status aplikasi YARN, dan untuk beberapa, seperti aplikasi Spark Anda dapat menelusuri metrik dan aspek yang berbeda seperti pekerjaan, tahapan, dan pelaksana. Untuk informasi selengkapnya, lihat Lihat riwayat aplikasi Amazon EMR. Fitur ini hanya tersedia untuk Amazon EMR rilis 5.8.0 dan lebih tinggi.

Antarmuka baris perintah Amazon EMR

Anda dapat menemukan detail tentang cluster dari AWS CLI dengan --describe argumen.

API Amazon EMR

Anda dapat menemukan detail tentang sebuah klaster dari API menggunakan tindakan DescribeJobFlows.

Lihat detail kesalahan klaster EMR

Ketika cluster EMR berakhir dengan kesalahan, DescribeCluster dan ListClusters APIs mengembalikan kode kesalahan dan pesan kesalahan. Untuk kesalahan klaster tertentu, larik ErrorDetail data dapat membantu Anda memecahkan masalah kegagalan.

Untuk daftar kode kesalahan yang menyertakan ErrorDetail data, lihatKode kesalahan dengan ErrorDetail informasi di Amazon EMR.

Jalankan skrip dan konfigurasikan proses EMR Amazon

Sebagai bagian dari proses pemecahan masalah, Anda mungkin merasa terbantu untuk menjalankan skrip kustom di klaster Anda atau melihat dan mengonfigurasi proses klaster.

Lihat dan mulai ulang proses aplikasi

Akan sangat membantu untuk melihat proses yang berjalan di cluster Anda untuk mendiagnosis potensi masalah. Anda dapat menghentikan dan memulai ulang proses cluster dengan menghubungkan ke node master cluster Anda. Untuk informasi selengkapnya, lihat Lihat dan mulai ulang EMR Amazon dan proses aplikasi (daemon).

Jalankan perintah dan skrip tanpa koneksi SSH

Untuk menjalankan perintah atau skrip di cluster Anda sebagai langkah, Anda dapat menggunakan command-runner.jar atau script-runner.jar alat tanpa membuat koneksi SSH ke node master. Untuk informasi selengkapnya, lihat Menjalankan perintah dan skrip di klaster EMR Amazon.

Melihat berkas log

Amazon EMR dan Hadoop sama-sama menghasilkan berkas log selama klaster berjalan. Anda dapat mengakses file log ini dari beberapa alat yang berbeda, tergantung pada konfigurasi yang Anda tentukan saat Anda meluncurkan cluster. Untuk informasi selengkapnya, lihat Konfigurasikan pencatatan dan debugging cluster EMR Amazon EMR.

Berkas log pada simpul utama

Setiap cluster menerbitkan file log ke direktorithe /mnt/var/log/pada node master. Berkas log ini hanya tersedia saat klaster berjalan.

Berkas log yang diarsipkan ke Amazon S3

Jika Anda meluncurkan cluster dan menentukan jalur log Amazon S3, cluster akan menyalin file log yang disimpanin /mnt/var/log/pada node master ke Amazon S3 dalam interval 5 menit. Hal ini memastikan bahwa Anda memiliki akses ke file berkas log bahkan setelah klaster diakhiri. Karena file diarsipkan dalam interval 5 menit, beberapa menit terakhir dari klaster yang tiba-tiba diakhiri mungkin tidak tersedia.

Memantau kinerja klaster EMR

Amazon EMR menyediakan beberapa alat untuk memantau performa klaster Anda.

Antarmuka web Hadoop

Setiap klaster menerbitkan satu set antarmuka web pada simpul utama yang berisi informasi tentang klaster. Anda dapat mengakses halaman web ini dengan menggunakan terowongan SSH untuk menghubungkan mereka pada simpul utama. Untuk informasi selengkapnya, lihat Melihat antarmuka web yang di-host pada klaster Amazon EMR.

CloudWatch metrik

Setiap klaster melaporkan metrik ke CloudWatch. CloudWatch adalah layanan web yang melacak metrik, dan yang dapat Anda gunakan untuk mengatur alarm pada metrik tersebut. Untuk informasi selengkapnya, lihat Memantau metrik Amazon EMR dengan CloudWatch.