View a markdown version of this page

Unggah data dengan AWS DataSync - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Unggah data dengan AWS DataSync

AWS DataSync adalah layanan transfer data online yang menyederhanakan, mengotomatiskan, dan mempercepat proses pemindahan data antara penyimpanan lokal dan layanan AWS penyimpanan atau antara layanan AWS penyimpanan. DataSync mendukung berbagai sistem penyimpanan lokal seperti Hadoop Distributed File System (HDFS), server file NAS, dan penyimpanan objek yang dikelola sendiri.

Cara paling umum untuk mendapatkan data ke cluster adalah dengan mengunggah data ke Amazon S3 dan menggunakan fitur bawaan Amazon EMR untuk memuat data ke cluster Anda.

DataSync dapat membantu Anda menyelesaikan tugas-tugas berikut:

  • Mereplikasi HDFS di cluster Hadoop Anda ke Amazon S3 untuk kelangsungan bisnis

  • Salin HDFS ke Amazon S3 untuk mengisi danau data Anda

  • Mentransfer data antara HDFS cluster Hadoop Anda dan Amazon S3 untuk analisis dan pemrosesan

Untuk mengunggah data ke bucket S3 Anda, pertama-tama Anda menerapkan satu atau lebih DataSync agen di jaringan yang sama dengan penyimpanan lokal Anda. Agen adalah mesin virtual (VM) yang digunakan untuk membaca data dari atau menulis data ke lokasi yang dikelola sendiri. Anda kemudian mengaktifkan agen Anda di Akun AWS dan Wilayah AWS di mana bucket S3 Anda berada.

Setelah agen diaktifkan, Anda membuat lokasi sumber untuk penyimpanan lokal, lokasi tujuan untuk bucket S3, dan tugas. Tugas adalah satu set dari dua lokasi (sumber dan tujuan) dan satu set dari opsi default yang Anda gunakan untuk mengontrol perilaku tugas.

Akhirnya, Anda menjalankan DataSync tugas Anda untuk mentransfer data dari sumber ke tujuan.

Untuk informasi selengkapnya, silakan lihat Memulai dengan AWS DataSync.