Lihat file log EMR Amazon - Amazon EMR
Lihat file log pada node utamaMelihat berkas log yang diarsipkan ke Amazon S3

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Lihat file log EMR Amazon

Amazon EMR dan Hadoop menghasilkan berkas log yang melaporkan status pada klaster. Secara default, ini ditulis ke simpul utama dalam /mnt/var/log/ direktori. Tergantung pada cara Anda mengkonfigurasi klaster Anda ketika Anda meluncurkannya, log ini juga dapat diarsipkan ke Amazon S3 dan dapat dilihat melalui alat debugging grafis.

Ada banyak jenis log yang ditulis ke simpul utama. Amazon EMR menulis log langkah, tindakan bootstrap, dan status instans. Apache Hadoop menulis log untuk melaporkan pengolahan pekerjaan, tugas, dan upaya tugas. Hadoop juga mencatat log dari daemon nya. Untuk informasi lebih lanjut tentang log yang ditulis oleh Hadoop, kunjungi http://hadoop.apache. org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html.

Lihat file log pada node utama

Tabel berikut mencantumkan beberapa file log yang akan Anda temukan di simpul utama.

Lokasi Deskripsi

/emr/instance-controller/log/bootstrap-tindakan

Log ditulis selama pemrosesan tindakan bootstrap.

/mnt/var/log/hadoop-pendorong negara

Log ditulis oleh proses pendorong status Hadoop.

/emr/instance-controller/log

Log pengendali instans.

/emr/instance-state

Log status instans. Ini berisi informasi tentang CPU, status memori, dan utas pengumpul sampah dari simpul tersebut.

/emr/layanan-pengasuh

Log ditulis oleh proses pengasuh layanan.

/mnt/var/log/application

Log khusus untuk aplikasi seperti Hadoop, Spark, atau Hive.

/mnt/var/log/hadoop/steps/N

Log langkah yang berisi informasi tentang pengolahan langkah. Nilai N menunjukkan StepID yang ditetapkan oleh Amazon EMR. Sebagai contoh, sebuah klaster memiliki dua langkah: s-1234ABCDEFGH dan s-5678IJKLMNOP. Langkah pertama terletak di /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ dan langkah kedua di /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/.

Log langkah yang ditulis oleh Amazon EMR adalah sebagai berikut.

  • pengendali — Informasi tentang pengolahan langkah. Jika langkah Anda gagal saat memuat, Anda dapat menemukan jejak tumpukan dalam log ini.

  • syslog — Menjelaskan eksekusi pekerjaan Hadoop dalam langkah tersebut.

  • stderr — Saluran kesalahan standar Hadoop saat memproses langkah.

  • stdout — Saluran output standar Hadoop saat memproses langkah.
Untuk melihat file log pada node utama dengan file AWS CLI.

  1. Gunakan SSH untuk terhubung ke node utama seperti yang dijelaskan dalamConnect ke node primer Amazon EMR cluster menggunakan SSH.

  2. Buka direktori yang berisi informasi berkas log yang ingin Anda lihat. Tabel sebelumnya memberikan daftar jenis berkas log yang tersedia dan tempat Anda dapat menemukannya. Contoh berikut menunjukkan perintah untuk membuka log langkah dengan sebuah ID, s-1234ABCDEFGH. 

    cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/

  3. Gunakan penampil file pilihan Anda untuk melihat berkas log. Contoh berikut menggunakan perintah less Linux untuk melihat berkas log controller.

    less controller

Melihat berkas log yang diarsipkan ke Amazon S3

Secara default, klaster Amazon EMR yang diluncurkan menggunakan konsol secara otomatis mengarsipkan berkas log ke Amazon S3. Anda dapat menentukan jalur log Anda sendiri, atau Anda dapat mengizinkan konsol untuk secara otomatis membuat jalur log untuk Anda. Untuk klaster yang diluncurkan menggunakan CLI atau API, Anda harus mengkonfigurasi log pengarsipan Amazon S3 secara manual.

Ketika Amazon EMR dikonfigurasi untuk mengarsipkan file log ke Amazon S3, ia menyimpan file di lokasi S3 yang Anda tentukan, di foldercluster-id//, di cluster-id mana ID cluster.

Tabel berikut mencantumkan beberapa berkas log yang akan Anda temukan pada Amazon S3.

Lokasi Deskripsi

/cluster-id/simpul/

Log simpul, termasuk tindakan bootstrap, status instans, dan log aplikasi untuk simpul. Log untuk setiap node disimpan dalam folder berlabel dengan identifier dari EC2 instance node tersebut.

/cluster-idinstance-id/node//application

Log yang dibuat oleh setiap aplikasi atau daemon terkait dengan suatu aplikasi. Sebagai contoh, log server Hive terletak di cluster-id/node/instance-id/hive/hive-server.log.

//cluster-idlangkah/step-id/

Log langkah yang berisi informasi tentang pengolahan langkah. Nilai step-id menunjukkan ID langkah yang ditetapkan oleh Amazon EMR. Sebagai contoh, sebuah klaster memiliki dua langkah: s-1234ABCDEFGH dan s-5678IJKLMNOP. Langkah pertama terletak di /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ dan langkah kedua di /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/.

Log langkah yang ditulis oleh Amazon EMR adalah sebagai berikut.

  • pengendali — Informasi tentang pengolahan langkah. Jika langkah Anda gagal saat memuat, Anda dapat menemukan jejak tumpukan dalam log ini.

  • syslog — Menjelaskan eksekusi pekerjaan Hadoop dalam langkah tersebut.

  • stderr — Saluran kesalahan standar Hadoop saat memproses langkah.

  • stdout — Saluran output standar Hadoop saat memproses langkah.

/cluster-id/kontainer

Log kontainer aplikasi. Log untuk setiap aplikasi YARN disimpan di lokasi ini.

//cluster-idhadoop-mapreduce/

Log yang berisi informasi tentang detail konfigurasi dan riwayat pekerjaan MapReduce pekerjaan.

Untuk melihat file log yang diarsipkan ke Amazon S3 dengan konsol Amazon S3

  1. Masuk ke AWS Management Console dan buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

  2. Buka bucket S3 yang ditentukan ketika Anda mengkonfigurasi klaster untuk mengarsipkan berkas log di Amazon S3.

  3. Buka berkas log yang berisi informasi yang ingin ditampilkan. Tabel sebelumnya memberikan daftar jenis berkas log yang tersedia dan tempat Anda dapat menemukannya.

  4. Download objek berkas log untuk melihatnya. Untuk melihat instruksi, lihat Mengunduh objek.