Bagaimana cara AWS DataSync kerja - AWS DataSync
DataSync arsitektur transferKonsep dan terminologiCara DataSync mentransfer file, objek, dan direktori

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bagaimana cara AWS DataSync kerja

Pelajari konsep dan terminologi utama yang terkait dengan AWS DataSync transfer, termasuk cara data ditransfer dari lokasi lokal dan cloud.

DataSync arsitektur transfer

Diagram berikut menunjukkan bagaimana dan di mana DataSync biasanya mentransfer data penyimpanan. Untuk daftar lengkap sistem dan layanan penyimpanan yang DataSync didukung, lihat Di mana saya dapat mentransfer data saya AWS DataSync?

Mentransfer antar penyimpanan lokal dan AWS

Diagram berikut menunjukkan ikhtisar tingkat tinggi untuk DataSync mentransfer file antara sistem penyimpanan lokal yang dikelola sendiri dan. Layanan AWS

Ringkasan DataSync skenario umum saat transfer data dari sistem penyimpanan lokal ke sumber daya AWS penyimpanan yang didukung (seperti bucket Amazon S3 atau sistem file Amazon EFS).

Diagram menggambarkan kasus DataSync penggunaan umum:

  • DataSync Agen yang menyalin data dari sistem penyimpanan lokal.

  • Data bergerak AWS melalui Transport Layer Security (TLS).

  • DataSync menyalin data ke layanan AWS penyimpanan yang didukung.

Mentransfer antar layanan AWS penyimpanan

Diagram berikut menunjukkan ikhtisar tingkat tinggi untuk DataSync mentransfer file antara Layanan AWS yang sama. Akun AWS

Ikhtisar DataSync skenario umum di mana transfer data antar sumber daya AWS penyimpanan (seperti bucket Amazon S3 atau sistem file Amazon EFS).

Diagram menggambarkan kasus DataSync penggunaan umum:

  • DataSync menyalin data dari layanan AWS penyimpanan yang didukung.

  • Data bergerak Wilayah AWS melalui TLS.

  • DataSync menyalin data ke layanan AWS penyimpanan yang didukung.

Saat mentransfer antar layanan AWS penyimpanan (baik dalam hal yang sama Wilayah AWS atau di seberang Wilayah AWS), data Anda tetap berada di AWS jaringan dan tidak melintasi internet publik.

penting

Anda membayar untuk data yang ditransfer antara Wilayah AWS. Tindakan ini dikenakan tagihan sebagai transfer data KELUAR dari Wilayah sumber Anda ke Wilayah tujuan Anda. Untuk informasi selengkapnya, lihat Harga transfer data.

Mentransfer antara sistem penyimpanan cloud dan layanan AWS penyimpanan

Dengan DataSync, Anda dapat mentransfer data antara sistem penyimpanan cloud lainnya dan Layanan AWS. Dalam konteks ini, sistem penyimpanan cloud dapat mencakup:

Diagram berikut menunjukkan ikhtisar tingkat tinggi untuk DataSync mentransfer data antara layanan AWS penyimpanan dan penyedia cloud lainnya.

Ikhtisar DataSync skenario umum di mana transfer data antara layanan AWS penyimpanan (seperti bucket Amazon S3 atau sistem file Amazon EFS) dan penyedia cloud lainnya.

Konsep dan terminologi

Biasakan diri Anda dengan fitur DataSync transfer.

Agen

Agen adalah alat mesin virtual (VM) yang DataSync digunakan untuk membaca dan menulis ke penyimpanan selama transfer.

Anda dapat menyebarkan agen di lingkungan penyimpanan Anda di VMware ESXi, Linux Kernel-based Virtual Machine (KVM), atau Microsoft Hyper-V hypervisors. Untuk penyimpanan di cloud pribadi virtual (VPC) di AWS, Anda dapat menggunakan agen sebagai instans Amazon EC2.

Agen DataSync transfer tidak berbeda dengan agen yang dapat Anda gunakan untuk DataSync Discovery, tetapi kami tidak menyarankan menggunakan agen yang sama untuk skenario ini.

Untuk memulai, lihat Apakah saya membutuhkan AWS DataSync agen?

Lokasi

Lokasi menjelaskan tempat Anda menyalin data dari atau ke. Setiap DataSync transfer (juga dikenal sebagai tugas) memiliki lokasi sumber dan tujuan. Untuk informasi selengkapnya, lihat Di mana saya dapat mentransfer data saya AWS DataSync?

Tugas

Sebuah tugas menggambarkan DataSync transfer. Ini mengidentifikasi lokasi sumber dan tujuan bersama dengan rincian tentang cara menyalin data antara lokasi tersebut. Anda juga dapat menentukan cara tugas memperlakukan metadata, file yang dihapus, dan izin.

Eksekusi tugas

Eksekusi tugas adalah proses individu dari tugas DataSync transfer. Ada beberapa fase yang terlibat dalam pelaksanaan tugas. Untuk informasi selengkapnya, lihat Status eksekusi tugas.

Cara DataSync mentransfer file, objek, dan direktori

Saat Anda memulai tugas, DataSync persiapkan transfer Anda dengan memeriksa lokasi sumber dan tujuan Anda untuk menentukan apa yang akan ditransfer. Ini dilakukan dengan memindai konten dan metadata kedua lokasi secara rekursif untuk mengidentifikasi perbedaan antara keduanya. Proses ini dapat memakan waktu hanya beberapa menit atau beberapa jam tergantung pada jumlah file, objek, atau direktori di kedua lokasi dan kinerja sistem penyimpanan atau layanan Anda.

Selama persiapan, jumlah file, objek, atau direktori yang DataSync mengambil inventaris di sumber dan tujuan Anda diperhitungkan dalam kuota tugas Anda. Kuota tidak didasarkan pada jumlah item yang DataSync ditransfer selama setiap eksekusi tugas.

Setelah DataSync selesai mempersiapkan transfer Anda, itu menyalin data Anda (termasuk metadata) dari sumber ke tujuan berdasarkan pengaturan tugas Anda. Misalnya, Anda dapat menentukan metadata apa yang akan disalin, mengecualikan file tertentu, membatasi berapa banyak DataSync penggunaan bandwidth, di antara opsi lainnya.

Pada akhir transfer, DataSync dapat memverifikasi integritas data Anda.

Untuk informasi tentang langkah-langkah spesifik yang terjadi selama pelaksanaan tugas, lihat status DataSync tugas.

Membuka dan mengunci file

Ingatlah hal-hal berikut ketika mencoba mentransfer file yang terbuka (sedang digunakan) atau terkunci:

  • Secara umum, DataSync dapat mentransfer file terbuka tanpa batasan apa pun.

  • Jika file terbuka dan sedang ditulis selama transfer, DataSync dapat mendeteksi inkonsistensi semacam ini selama fase verifikasi tugas transfer. Untuk mendapatkan versi terbaru dari file, Anda harus menjalankan tugas lagi.

  • Jika file terkunci dan server DataSync mencegah membukanya, DataSync lewati file selama transfer dan mencatat kesalahan.

  • DataSync tidak dapat mengunci atau membuka kunci file.

Integritas data

DataSync selalu melakukan pemeriksaan integritas data selama transfer. Ketika transfer Anda selesai, juga DataSync dapat memverifikasi hanya data yang disalin atau seluruh dataset di lokasi sumber dan tujuan. Bergantung pada bagaimana Anda mengonfigurasi verifikasi data, ini dapat memakan banyak waktu pada kumpulan data besar.

Tip

Dalam kebanyakan kasus, kami sarankan untuk memverifikasi hanya data yang ditransfer.

DataSync memeriksa integritas data dengan menghitung dan membandingkan checksum dan metadata dari setiap file atau objek di kedua lokasi. Jika DataSync melihat perbedaan antar lokasi, verifikasi tugas gagal dengan kesalahan yang menentukan apa yang gagal. Misalnya, Anda mungkin melihat kesalahan sepertiChecksum failure,Metadata failure,Files were added,Files were removed, dan sebagainya.

Transfer berulang

Selain transfer satu kali, DataSync dapat menyalin data secara berulang. Beberapa opsi untuk situasi ini meliputi: