Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konektor dan utilitas
Amazon EMR menyediakan beberapa konektor dan utilitas untuk mengakses AWS layanan lain sebagai sumber data. Anda biasanya dapat mengakses data dalam layanan ini dalam sebuah program. Misalnya, Anda dapat menentukan aliran Kinesis dalam kueri Hive, skrip Babi, atau MapReduce aplikasi dan kemudian mengoperasikannya pada data tersebut.
Topik
Membersihkan setelah pekerjaan S3 DistCp gagal
Jika S3 DistCp tidak dapat menyalin beberapa atau semua file yang ditentukan, perintah atau langkah cluster gagal dan mengembalikan kode kesalahan bukan nol. Jika ini terjadi, S3 DistCp tidak membersihkan file yang disalin sebagian. Anda harus menghapusnya secara manual.
File yang disalin sebagian disimpan ke direktori HDFS di tmp sub-direktori dengan pengidentifikasi unik dari pekerjaan S3. DistCp Anda dapat menemukan ID ini dalam output standar tugas.
Misalnya, untuk DistCp pekerjaan S3 dengan ID4b1c37bb-91af-4391-aaf8-46a6067085a6, Anda dapat terhubung ke node master cluster dan menjalankan perintah berikut untuk melihat file output yang terkait dengan pekerjaan tersebut.
hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output
Perintah ini akan menghasilkan daftar file yang serupa dengan berikut ini:
Found 8 items
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006Anda kemudian dapat menjalankan perintah berikut untuk menghapus direktori dan semua isinya.
hdfs dfs rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6