Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Alat apa yang tersedia untuk memecahkan masalah klaster Amazon? EMR

Untuk mengidentifikasi dan memperbaiki kesalahan klaster, Anda dapat menggunakan alat yang dijelaskan di halaman ini. Anda mungkin perlu menginisialisasi beberapa alat saat meluncurkan cluster. Alat lain tersedia untuk setiap cluster secara default.

Lihat detail EMR klaster

Anda dapat menggunakan AWS Management Console, AWS CLI, atau EMR API untuk mengambil informasi rinci tentang EMR klaster dan eksekusi pekerjaan. Untuk informasi lebih lanjut tentang menggunakan AWS Management Console dan AWS CLI, lihatLihat status dan detail EMR klaster Amazon.

Panel detail EMR konsol Amazon

Dalam daftar Cluster di EMR konsol Amazon, Anda dapat melihat informasi tingkat tinggi tentang status setiap cluster di akun Anda dan. Wilayah AWS Daftar ini menampilkan semua cluster aktif dan dihentikan yang Anda luncurkan dalam dua bulan terakhir. Dari daftar Klaster, Anda dapat memilih sebuah Nama klaster untuk melihat detail klaster. Informasi ini tersusun dalam kategori yang berbeda untuk memudahkan navigasi.

Antarmuka pengguna Aplikasi yang tersedia di halaman detail cluster dapat berguna untuk memecahkan masalah cluster. Ini menyediakan status YARN aplikasi, dan untuk beberapa, seperti aplikasi Spark Anda dapat menelusuri berbagai metrik dan aspek seperti pekerjaan, tahapan, dan pelaksana. Untuk informasi selengkapnya, lihat Lihat riwayat EMR aplikasi Amazon. Fitur ini hanya tersedia untuk Amazon EMR rilis 5.8.0 dan lebih tinggi.

Antarmuka baris EMR perintah Amazon

Anda dapat menemukan detail tentang cluster dari AWS CLI dengan --describe argumen.

Amazon EMR API

Anda dapat menemukan detail tentang cluster dari API menggunakan DescribeJobFlows tindakan.

Lihat detail kesalahan EMR klaster

Ketika sebuah EMR cluster berakhir dengan kesalahan, DescribeCluster dan ListClusters APIs mengembalikan kode kesalahan dan pesan kesalahan. Untuk kesalahan klaster tertentu, larik ErrorDetail data dapat membantu Anda memecahkan masalah kegagalan.

Untuk daftar kode kesalahan yang menyertakan ErrorDetail data, lihatKode kesalahan dengan ErrorDetail informasi di Amazon EMR.

Jalankan skrip dan konfigurasikan proses Amazon EMR

Sebagai bagian dari proses pemecahan masalah, Anda mungkin merasa terbantu untuk menjalankan skrip kustom di klaster Anda atau melihat dan mengonfigurasi proses klaster.

Lihat dan mulai ulang proses aplikasi

Akan sangat membantu untuk melihat proses yang berjalan di cluster Anda untuk mendiagnosis potensi masalah. Anda dapat menghentikan dan memulai ulang proses cluster dengan menghubungkan ke node master cluster Anda. Untuk informasi selengkapnya, lihat Lihat dan mulai ulang Amazon EMR dan proses aplikasi (daemon).

Jalankan perintah dan skrip tanpa koneksi SSH

Untuk menjalankan perintah atau skrip di cluster Anda sebagai langkah, Anda dapat menggunakan command-runner.jar atau script-runner.jar alat tanpa membuat SSH koneksi ke node master. Untuk informasi selengkapnya, lihat Menjalankan perintah dan skrip di EMR klaster Amazon.

Melihat berkas log

Amazon EMR dan Hadoop keduanya menghasilkan file log saat cluster berjalan. Anda dapat mengakses file log ini dari beberapa alat yang berbeda, tergantung pada konfigurasi yang Anda tentukan saat Anda meluncurkan cluster. Untuk informasi selengkapnya, lihat Konfigurasikan pencatatan dan debugging EMR klaster Amazon.

Berkas log pada simpul utama

Setiap cluster menerbitkan file log ke direktorithe /mnt/var/log/pada node master. Berkas log ini hanya tersedia saat klaster berjalan.

Berkas log yang diarsipkan ke Amazon S3

Jika Anda meluncurkan cluster dan menentukan jalur log Amazon S3, cluster akan menyalin file log yang disimpanin /mnt/var/log/pada node master ke Amazon S3 dalam interval 5 menit. Hal ini memastikan bahwa Anda memiliki akses ke file berkas log bahkan setelah klaster diakhiri. Karena file diarsipkan dalam interval 5 menit, beberapa menit terakhir dari klaster yang tiba-tiba diakhiri mungkin tidak tersedia.

Pantau kinerja EMR cluster

Amazon EMR menyediakan beberapa alat untuk memantau kinerja cluster Anda.

Antarmuka web Hadoop

Setiap klaster menerbitkan satu set antarmuka web pada simpul utama yang berisi informasi tentang klaster. Anda dapat mengakses halaman web ini dengan menggunakan SSH terowongan untuk menghubungkannya pada node master. Untuk informasi selengkapnya, lihat Lihat antarmuka web yang dihosting di kluster Amazon EMR.

CloudWatch metrik

Setiap cluster melaporkan metrik ke CloudWatch. CloudWatch adalah layanan web yang melacak metrik, dan yang dapat Anda gunakan untuk mengatur alarm pada metrik tersebut. Untuk informasi selengkapnya, lihat Memantau EMR metrik Amazon dengan CloudWatch.