Mengkonfigurasi AWS DataSync transfer dengan Google Cloud Storage - AWS DataSync
Gambaran UmumBiayaPrasyaratMembuat kunci HMAC untuk bucket Google Cloud Storage AndaLangkah 2: Konfigurasikan jaringan AndaLangkah 3: Buat DataSync agenLangkah 4: Buat lokasi DataSync sumber untuk bucket Google Cloud Storage AndaLangkah 5: Buat lokasi DataSync tujuan untuk bucket S3 AndaLangkah 6: Buat dan mulai DataSync tugas

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi AWS DataSync transfer dengan Google Cloud Storage

Tutorial berikut menunjukkan bagaimana Anda dapat menggunakan AWS DataSync untuk memigrasikan objek dari bucket Google Cloud Storage ke bucket Amazon S3.

Gambaran Umum

Karena DataSync terintegrasi dengan Google Cloud Storage XMLAPI, Anda dapat menyalin objek ke Amazon S3 tanpa menulis kode. Cara kerjanya tergantung di mana Anda menyebarkan DataSync agen yang memfasilitasi transfer.

Agent in Google Cloud

  1. Anda menerapkan DataSync agen di lingkungan Google Cloud Anda.

  2. Agen membaca bucket Google Cloud Storage Anda dengan menggunakan kunci Kode Otentikasi Pesan (HMAC) berbasis Hash.

  3. Objek dari bucket Google Cloud Storage Anda ditransfer dengan aman melalui TLS 1.3 ke dalam AWS Cloud dengan menggunakan titik akhir publik.

  4. DataSync Layanan menulis data ke bucket S3 Anda.

Diagram berikut menggambarkan transfer.

Contoh DataSync transfer menunjukkan cara transfer data objek dari bucket Google Cloud Storage ke bucket S3. Pertama, DataSync agen digunakan di lingkungan Google Cloud Anda. Kemudian, DataSync agen membaca bucket Google Cloud Storage. Data bergerak dengan aman melalui titik akhir publik ke AWS, tempat DataSync menulis objek ke bucket S3 di Wilayah AWS tempat yang sama dengan yang Anda gunakan. DataSync
Agent in your VPC

  1. Anda menyebarkan DataSync agen di cloud pribadi virtual (VPC) di AWS lingkungan Anda.

  2. Agen membaca bucket Google Cloud Storage Anda dengan menggunakan kunci Kode Otentikasi Pesan (HMAC) berbasis Hash.

  3. Objek dari bucket Google Cloud Storage Anda ditransfer dengan aman melalui TLS 1.3 ke dalam menggunakan endpoint VPC pribadi. AWS Cloud

  4. DataSync Layanan menulis data ke bucket S3 Anda.

Diagram berikut menggambarkan transfer.

Contoh DataSync transfer menunjukkan cara transfer data objek dari bucket Google Cloud Storage ke bucket S3. Pertama, DataSync agen dikerahkan dalam AWS VPC di. Kemudian, DataSync agen membaca bucket Google Cloud Storage. Data bergerak dengan aman melalui titik akhir VPC AWS ke, DataSync di mana menulis objek ke bucket S3 sama Wilayah AWS dengan VPC.

Biaya

Biaya yang terkait dengan migrasi ini meliputi:

Prasyarat

Sebelum Anda mulai, lakukan hal berikut jika Anda belum melakukannya:

Membuat kunci HMAC untuk bucket Google Cloud Storage Anda

DataSync menggunakan kunci HMAC yang terkait dengan akun layanan Google Anda untuk mengautentikasi dan membaca bucket tempat Anda mentransfer data. (Untuk petunjuk terperinci tentang cara membuat kunci HMAC, lihat dokumentasi Google Cloud Storage.)

Untuk membuat kunci HMAC

  1. Buat kunci HMAC untuk akun layanan Google Anda.

  2. Pastikan akun layanan Google Anda memiliki setidaknya Storage Object Viewer izin.

  3. Simpan ID akses kunci HMAC Anda dan rahasia di lokasi yang aman.

    Anda akan memerlukan item ini nanti untuk mengonfigurasi lokasi DataSync sumber Anda.

Langkah 2: Konfigurasikan jaringan Anda

Persyaratan jaringan untuk migrasi ini bergantung pada cara Anda ingin menerapkan DataSync agen Anda.

Jika Anda ingin meng-host DataSync agen Anda di Google Cloud, konfigurasikan jaringan Anda untuk mengizinkan DataSync transfer melalui titik akhir publik.

Jika Anda ingin meng-host agen Anda AWS, Anda memerlukan VPC dengan titik akhir antarmuka. DataSync menggunakan titik akhir VPC untuk memfasilitasi transfer.

Untuk mengonfigurasi jaringan Anda untuk titik akhir VPC

  1. Jika Anda tidak memilikinya, buat VPC Wilayah AWS sama dengan bucket S3 Anda.

  2. Buat subnet pribadi untuk VPC Anda.

  3. Buat titik akhir layanan VPC untuk. DataSync

  4. Konfigurasikan jaringan Anda untuk mengizinkan DataSync transfer melalui titik akhir layanan VPC.

    Untuk melakukannya, ubah grup keamanan yang terkait dengan titik akhir layanan VPC Anda.

Langkah 3: Buat DataSync agen

Anda memerlukan DataSync agen yang dapat mengakses dan membaca bucket Google Cloud Storage Anda.

Dalam skenario ini, DataSync agen berjalan di lingkungan Google Cloud Anda.

Sebelum Anda mulai: Instal Google Cloud CLI.

Untuk membuat agen untuk Google Cloud

  1. Buka AWS DataSync konsol di https://console.aws.amazon.com/datasync/.

  2. Di panel navigasi kiri, pilih Agen, lalu pilih Buat agen.

  3. Untuk Hypervisor VMware ESXi, pilih, lalu pilih Unduh gambar untuk mengunduh .zip file yang berisi agen.

  4. Buka terminal. Unzip gambar dengan menjalankan perintah berikut:

    unzip AWS-DataSync-Agent-VMWare.zip

  5. Ekstrak isi .ova file agen dimulai aws-datasync dengan menjalankan perintah berikut:

    tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova

  6. Impor .vmdk file agen ke Google Cloud dengan menjalankan perintah Google Cloud CLI berikut:

    gcloud compute images import aws-datasync-2-test \
   --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
   --os centos-7
    catatan

    Mengimpor .vmdk file mungkin memakan waktu hingga dua jam.

  7. Buat dan mulai instance VM untuk image agen yang baru saja Anda impor.

    Instans memerlukan konfigurasi berikut untuk agen Anda. (Untuk petunjuk mendetail tentang cara membuat instance, lihat dokumentasi Google Cloud Compute Engine.)

    • Untuk jenis mesin, pilih salah satu dari berikut ini:

      • e2-standard-8 — Untuk eksekusi DataSync tugas yang bekerja dengan hingga 20 juta objek.

      • e2-standard-16 — Untuk eksekusi DataSync tugas yang bekerja dengan lebih dari 20 juta objek.

    • Untuk pengaturan boot disk, buka bagian gambar khusus. Kemudian pilih gambar DataSync agen yang baru saja Anda impor.

    • Untuk pengaturan akun layanan, pilih akun layanan Google Anda (akun yang sama dengan yang Anda gunakan pada Langkah 1).

    • Untuk pengaturan firewall, pilih opsi untuk mengizinkan lalu lintas HTTP (port 80).

      Untuk mengaktifkan DataSync agen Anda, port 80 harus terbuka pada agen. Port tidak perlu diakses publik. Setelah diaktifkan, DataSync tutup port.

  8. Setelah instance VM berjalan, perhatikan alamat IP publiknya.

    Anda akan memerlukan alamat IP ini untuk mengaktifkan agen.

  9. Kembali ke DataSync konsol. Pada layar Buat agen tempat Anda mengunduh gambar agen, lakukan hal berikut untuk mengaktifkan agen Anda:

    • Untuk jenis Endpoint, pilih opsi titik akhir layanan publik (misalnya, titik akhir layanan publik di US East Ohio).

    • Untuk kunci Aktivasi, pilih Secara otomatis mendapatkan kunci aktivasi dari agen Anda.

    • Untuk alamat Agen, masukkan alamat IP publik dari instance agen VM yang baru saja Anda buat.

    • Pilih Dapatkan kunci.

  10. Beri nama agen Anda, lalu pilih Buat agen.

Agen Anda sedang online dan siap untuk mentransfer data.

Dalam skenario ini, agen berjalan sebagai EC2 instans Amazon di VPC yang terkait dengan Anda. Akun AWS

Sebelum Anda mulai: Siapkan AWS Command Line Interface (AWS CLI).

Untuk membuat agen untuk VPC Anda

  1. Buka terminal. Pastikan untuk mengonfigurasi AWS CLI profil Anda untuk menggunakan akun yang terkait dengan bucket S3 Anda.

  2. Salin perintah berikut. Ganti vpc-region dengan Wilayah AWS tempat VPC Anda berada (misalnya,). us-east-1

    aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

  3. Jalankan perintah . Dalam output, perhatikan "Value" properti.

    Nilai ini adalah ID DataSync Amazon Machine Image (AMI) Wilayah yang Anda tentukan. Misalnya, ID AMI bisa terlihat sepertiami-1234567890abcdef0.

  4. Salin URL berikut. Sekali lagi, ganti vpc-region dengan Wilayah AWS tempat VPC Anda berada. Kemudian, ganti ami-id dengan ID AMI yang Anda catat di langkah sebelumnya.

    https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

  5. Tempelkan URL ke browser.

    Halaman peluncuran EC2 instans Amazon di AWS Management Console layar.

  6. Untuk jenis Instans, pilih salah satu EC2 instans Amazon yang direkomendasikan untuk DataSync agen.

  7. Untuk Key pair, pilih key pair yang ada, atau buat yang baru.

  8. Untuk pengaturan Jaringan, pilih VPC dan subnet tempat Anda ingin menyebarkan agen.

  9. Pilih Luncurkan instans.

  10. Setelah EC2 instans Amazon berjalan, pilih titik akhir VPC Anda.

  11. Aktifkan agen Anda.

Langkah 4: Buat lokasi DataSync sumber untuk bucket Google Cloud Storage Anda

Untuk mengatur DataSync lokasi bucket Google Cloud Storage, Anda memerlukan ID akses dan rahasia untuk kunci HMAC yang Anda buat di Langkah 1.

Untuk membuat lokasi DataSync sumber

  1. Buka AWS DataSync konsol di https://console.aws.amazon.com/datasync/.

  2. Di panel navigasi kiri, perluas Transfer data, lalu pilih Lokasi dan Buat lokasi.

  3. Untuk Tipe lokasi, pilih Penyimpanan objek.

  4. Untuk Agen, pilih agen yang Anda buat di Langkah 3.

  5. Untuk Server, masukkanstorage.googleapis.com.

  6. Untuk nama Bucket, masukkan nama bucket Google Cloud Storage Anda.

  7. Perluas Pengaturan tambahan. Untuk protokol Server, pilih HTTPS. Untuk port Server, pilih 443.

  8. Gulir ke bawah ke bagian Otentikasi. Pastikan kotak centang Memerlukan kredensial dipilih, lalu lakukan hal berikut:

    • Untuk kunci Access, masukkan ID akses kunci HMAC Anda.

    • Untuk kunci Rahasia, masukkan rahasia kunci HMAC Anda.

  9. Pilih Buat lokasi.

Langkah 5: Buat lokasi DataSync tujuan untuk bucket S3 Anda

Anda memerlukan DataSync lokasi di mana Anda ingin data Anda berakhir.

Untuk membuat lokasi DataSync tujuan

  1. Buka AWS DataSync konsol di https://console.aws.amazon.com/datasync/.

  2. Di panel navigasi kiri, perluas Transfer data, lalu pilih Lokasi dan Buat lokasi.

  3. Buat DataSync lokasi untuk bucket S3.

    Jika Anda menggunakan DataSync agen di VPC Anda, tutorial ini mengasumsikan bahwa bucket S3 Wilayah AWS sama dengan VPC dan agen Anda. DataSync

Langkah 6: Buat dan mulai DataSync tugas

Dengan lokasi sumber dan tujuan yang dikonfigurasi, Anda dapat mulai memindahkan data Anda AWS.

Untuk membuat dan memulai DataSync tugas

  1. Buka AWS DataSync konsol di https://console.aws.amazon.com/datasync/.

  2. Di panel navigasi kiri, perluas Transfer data, lalu pilih Tugas, lalu pilih Buat tugas.

  3. Pada halaman Konfigurasi lokasi sumber, lakukan hal berikut:

    1. Pilih Pilih lokasi yang ada.

    2. Pilih lokasi sumber yang Anda buat di Langkah 4, lalu pilih Berikutnya.

  4. Pada halaman Konfigurasi lokasi tujuan, lakukan hal berikut:

    1. Pilih Pilih lokasi yang ada.

    2. Pilih lokasi tujuan yang Anda buat di Langkah 5, lalu pilih Berikutnya.

  5. Pada halaman Konfigurasi pengaturan, lakukan hal berikut:

    1. Di bawah Konfigurasi transfer data, perluas Pengaturan tambahan dan kosongkan kotak centang Salin tag objek.

      penting

      Karena DataSync berkomunikasi dengan Google Cloud Storage menggunakan Amazon S3 API, ada batasan yang dapat menyebabkan tugas DataSync Anda gagal jika Anda mencoba menyalin tag objek.

    2. Konfigurasikan pengaturan tugas lain yang Anda inginkan, lalu pilih Berikutnya.

  6. Pada halaman Tinjauan, tinjau setelan Anda, lalu pilih Buat tugas.

  7. Pada halaman detail tugas, pilih Mulai, lalu pilih salah satu dari berikut ini:

    • Untuk menjalankan tugas tanpa modifikasi, pilih Mulai dengan default.

    • Untuk mengubah tugas sebelum menjalankannya, pilih Mulai dengan opsi utama.

Saat tugas selesai, Anda akan melihat objek dari bucket Google Cloud Storage di bucket S3.