Membuat AWS DataSync tugas Anda - AWS DataSync

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat AWS DataSync tugas Anda

Sebuah tugas menjelaskan di mana dan bagaimana AWS DataSync mentransfer data. Sebelum Anda membuat tugas, pastikan Anda memahami cara kerja DataSync transfer dan tinjau kuota tugas.

penting

Jika Anda berencana untuk mentransfer data ke atau dari lokasi Amazon S3, tinjau bagaimana DataSync dapat memengaruhi biaya permintaan S3 dan halaman DataSync harga sebelum memulai.

Membuat tugas Anda

Saat Anda membuat DataSync tugas, Anda menentukan lokasi sumber dan tujuan Anda. Anda juga dapat menyesuaikan tugas Anda dengan memilih file mana yang akan ditransfer, bagaimana metadata ditangani, menyiapkan jadwal, dan banyak lagi.

  1. Buka AWS DataSync konsol di https://console.aws.amazon.com/datasync/.

  2. Pastikan Anda berada di salah satu Wilayah AWS tempat Anda berencana untuk mentransfer data.

  3. Di panel navigasi kiri, perluas Transfer data, lalu pilih Tugas, lalu pilih Buat tugas.

  4. Pada halaman Konfigurasi lokasi sumber, buat atau pilih lokasi sumber, lalu pilih Berikutnya.

  5. Pada halaman Konfigurasi lokasi tujuan, buat atau pilih lokasi tujuan, lalu pilih Berikutnya.

  6. (Disarankan) Pada halaman Konfigurasi pengaturan, berikan tugas Anda nama yang dapat Anda ingat.

  7. Saat masih berada di halaman Konfigurasi pengaturan, pilih opsi tugas Anda atau gunakan pengaturan default.

    Anda mungkin tertarik dengan beberapa opsi berikut:

    Setelah selesai, pilih Berikutnya.

  8. Tinjau konfigurasi tugas Anda, lalu pilih Buat tugas.

Anda siap untuk memulai tugas Anda.

Setelah Anda membuat lokasi DataSync sumber dan tujuan, Anda dapat membuat tugas Anda.

  1. Di AWS CLI pengaturan Anda, pastikan Anda menggunakan salah satu Wilayah AWS tempat yang Anda rencanakan untuk mentransfer data.

  2. Salin create-task perintah berikut:

    aws datasync create-task \ --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \ --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \ --name "task-name"
  3. Untuk--source-location-arn, tentukan Nama Sumber Daya Amazon (ARN) dari lokasi sumber Anda.

  4. Untuk--destination-location-arn, tentukan ARN lokasi tujuan Anda.

    Jika Anda mentransfer lintas Wilayah AWS atau akun, pastikan bahwa itu ARN menyertakan Wilayah atau ID akun lainnya.

  5. (Disarankan) Untuk--name, tentukan nama untuk tugas Anda yang dapat Anda ingat.

  6. Tentukan opsi tugas lain sesuai kebutuhan. Anda mungkin tertarik dengan beberapa opsi berikut:

    Untuk opsi lainnya, lihat create-task. Berikut adalah contoh create-task perintah yang menentukan beberapa pilihan:

    aws datasync create-task \ --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \ --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \ --cloud-watch-log-group-arn "arn:aws:logs:region:account-id" \ --name "task-name" \ --options VerifyMode=NONE,OverwriteMode=NEVER,Atime=BEST_EFFORT,Mtime=PRESERVE,Uid=INT_VALUE,Gid=INT_VALUE,PreserveDevices=PRESERVE,PosixPermissions=PRESERVE,PreserveDeletedFiles=PRESERVE,TaskQueueing=ENABLED,LogLevel=TRANSFER
  7. Jalankan perintah create-task.

    Jika perintah berhasil, Anda mendapatkan respons yang menunjukkan kepada ARN Anda tugas yang Anda buat. Sebagai contoh:

    { "TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026" }

Anda siap untuk memulai tugas Anda.

Status tugas

Saat Anda membuat DataSync tugas, Anda dapat memeriksa statusnya untuk melihat apakah tugas tersebut siap dijalankan.

Status konsol APIstatus Deskripsi
Available

AVAILABLE

Tugas siap untuk mulai mentransfer data.

Berjalan

RUNNING

Eksekusi tugas sedang berlangsung. Untuk informasi selengkapnya, lihat Status eksekusi tugas.

Tidak tersedia

UNAVAILABLE

DataSync Agen yang digunakan oleh tugas sedang offline. Untuk informasi selengkapnya, silakan lihat Apa yang harus saya lakukan jika agen saya offline?

Antrian

QUEUED

Eksekusi tugas lain yang menggunakan DataSync agen yang sama sedang berlangsung. Untuk informasi selengkapnya, lihat Menjalankan beberapa eksekusi dari tugas yang sama.

Membuat beberapa tugas untuk mentransfer kumpulan data besar

Jika Anda mentransfer kumpulan data besar, yang mungkin mencakup jutaan file atau objek, sebaiknya buat beberapa tugas yang dapat Anda jalankan secara paralel. Menyebarkan beban kerja di beberapa tugas (dan mungkin agen, tergantung pada lokasi Anda) membantu mengurangi waktu yang diperlukan DataSync untuk mempersiapkan dan mentransfer data Anda.

Pertimbangkan cara-cara berikut agar Anda dapat menyebarkan transfer besar di beberapa DataSync tugas:

  • Buat tugas yang membaca berbagai jalur pemasangan, awalan, atau folder di penyimpanan sumber Anda.

  • Buat tugas yang memindai subset file, objek, dan folder di penyimpanan sumber Anda dengan menggunakan manifes atau filter.

Berhati-hatilah bahwa pendekatan ini dapat meningkatkan operasi I/O pada penyimpanan Anda dan memengaruhi bandwidth jaringan Anda. Untuk informasi selengkapnya, lihat blog tentang Cara mempercepat transfer data Anda dengan DataSync skala arsitektur.

Membuat beberapa tugas untuk segmentasi data yang ditransfer

Jika Anda mentransfer kumpulan data yang berbeda ke tujuan yang sama, Anda dapat membuat beberapa tugas untuk membantu mengelompokkan data yang Anda transfer.

Misalnya, jika Anda mentransfer ke bucket S3 yang sama dengan namaMyBucket, Anda dapat membuat awalan berbeda di bucket yang sesuai dengan setiap tugas. Pendekatan ini mencegah konflik nama file kumpulan data dan memungkinkan Anda untuk mengatur izin yang berbeda untuk setiap awalan. Inilah cara Anda mengatur ini:

  1. Buat tiga awalan di tujuan MyBucket bernamatask1,task2, dan: task3

    • s3://MyBucket/task1

    • s3://MyBucket/task2

    • s3://MyBucket/task3

  2. Buat tiga DataSync tugas bernamatask1,task2, dan task3 transfer ke awalan yang sesuai diMyBucket.