Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Streaming kesalahan EMR kluster Amazon

Anda biasanya dapat menemukan penyebab kesalahan streaming di file syslog. Tautkan ke sana pada panel Langkah.

Kesalahan berikut umum terjadi untuk klaster streaming.

Apakah data yang dikirim ke pemeta memiliki format yang salah?

Untuk memeriksa apakah hal ini yang terjadi, cari pesan kesalahan di file syslog pada upaya tugas yang gagal di log upaya tugas. Untuk informasi selengkapnya, lihat Lihat file EMR log Amazon.

Apakah skrip Anda kehabisan waktu?

Waktu habis default untuk skrip pemeta atau peredam adalah 600 detik. Jika skrip Anda membutuhkan waktu lebih lama, upaya tugas akan gagal. Anda dapat memverifikasi apakah hal ini yang terjadi dengan memeriksa file syslog pada upaya tugas yang gagal di log upaya tugas. Untuk informasi selengkapnya, lihat Lihat file EMR log Amazon.

Anda dapat mengubah batas waktu dengan menetapkan nilai baru untuk pengaturan konfigurasi mapred.task.timeout. Pengaturan ini menentukan jumlah milidetik setelah Amazon EMR akan menghentikan tugas yang belum membaca input, output tertulis, atau memperbarui string statusnya. Anda dapat memperbarui nilai ini dengan meloloskan argumen streaming tambahan -jobconf mapred.task.timeout=800000.

Apakah Anda meloloskan argumen streaming yang tidak valid?

Hadoop streaming hanya mendukung argumen berikut. Jika Anda meloloskan argumen selain yang tercantum di bawah ini, klaster akan gagal.

-blockAutoGenerateCacheFiles 
-cacheArchive 
-cacheFile 
-cmdenv 
-combiner 
-debug 
-input 
-inputformat
-inputreader 
-jobconf 
-mapper
-numReduceTasks
-output 
-outputformat 
-partitioner
-reducer
-verbose
			

Selain itu, Hadoop streaming hanya mengenali argumen yang diloloskan menggunakan sintaks Java; yaitu, didahului oleh tanda hubung tunggal. Jika Anda meloloskan argumen yang didahului oleh tanda hubung ganda, klaster akan gagal.

Apakah skrip Anda keluar dengan kesalahan?

Jika skrip pemeta atau peredam Anda keluar dengan kesalahan, Anda dapat menemukan kesalahan dalam file stderr pada log upaya tugas dari upaya tugas yang gagal. Untuk informasi selengkapnya, lihat Lihat file EMR log Amazon.