Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konektor dan utilitas

Amazon EMR menyediakan sejumlah konektor dan utilitas untuk mengakses AWS layanan lain sebagai sumber data. Anda biasanya dapat mengakses data dalam layanan ini dalam sebuah program. Misalnya, Anda dapat menentukan aliran Kinesis dalam kueri Hive, skrip Pig, atau MapReduce aplikasi dan kemudian mengoperasikan data tersebut.

Membersihkan setelah S3DistCp pekerjaan yang gagal

Jika S3DistCp tidak dapat menyalin beberapa atau semua file yang ditentukan, langkah perintah atau cluster gagal dan mengembalikan kode kesalahan bukan nol. Jika ini terjadi, S3DistCp tidak membersihkan sebagian file yang disalin. Anda harus menghapusnya secara manual.

File yang disalin sebagian disimpan ke tmp direktori HDFS di sub-direktori dengan pengenal unik pekerjaan. S3DistCp Anda dapat menemukan ID ini dalam output standar tugas.

Misalnya, untuk S3DistCp pekerjaan dengan ID4b1c37bb-91af-4391-aaf8-46a6067085a6, Anda dapat terhubung ke node master cluster dan menjalankan perintah berikut untuk melihat file output yang terkait dengan pekerjaan.

hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output

Perintah ini akan menghasilkan daftar file yang serupa dengan berikut ini:

Found 8 items
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006

Anda kemudian dapat menjalankan perintah berikut untuk menghapus direktori dan semua isinya.

hdfs dfs -rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6