Menemukan Log Kesalahan - AWS Data Pipeline
Log AlurTugas Hadoop dan Log Langkah Amazon EMR

AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada dari AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. Pelajari selengkapnya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menemukan Log Kesalahan

Bagian ini menjelaskan cara menemukan berbagai log yang ditulis AWS Data Pipeline, yang dapat Anda gunakan untuk menentukan sumber kegagalan dan kesalahan tertentu.

Log Alur

Kami merekomendasikan Anda mengonfigurasi alur untuk membuat file log di lokasi persisten, seperti dalam contoh berikut di mana Anda menggunakan bidang pipelineLogUri pada objek Default alur untuk menyebabkan semua komponen alur menggunakan lokasi log Amazon S3 secara default (Anda dapat mengganti ini dengan mengonfigurasi lokasi log di komponen alur tertentu).

catatan

Runner Tugas menyimpan log-nya di lokasi yang berbeda secara default, yang mungkin tidak tersedia saat alur selesai dan instans yang menjalankan Runner Tugas berakhir. Untuk informasi selengkapnya, lihat Memverifikasi Pencatatan Runner Tugas.

Untuk mengonfigurasi lokasi log menggunakan AWS Data Pipeline CLI dalam file JSON alur, mulai file alur Anda dengan teks berikut:

{ "objects": [
{
  "id":"Default",
  "pipelineLogUri":"s3://mys3bucket/error_logs"
},
...

Setelah Anda mengonfigurasi direktori log alur, Runner Tugas membuat salinan log di direktori Anda, dengan format dan nama file yang sama seperti yang dijelaskan di bagian sebelumnya tentang log Runner Tugas.

Tugas Hadoop dan Log Langkah Amazon EMR

Dengan aktivitas berbasis Hadoop sepertiHadoopActivity,HiveActivity, atau PigActivity Anda dapat melihat log pekerjaan Hadoop di lokasi yang dikembalikan dalam slot runtime,. hadoopJobLog EmrActivitymemiliki fitur logging sendiri dan log tersebut disimpan menggunakan lokasi yang dipilih oleh Amazon EMR dan dikembalikan oleh slot runtime,emrStepLog. Untuk informasi selengkapnya, lihat Lihat Berkas Log di Panduan Developer Amazon EMR.