Komponen AWS DMS - AWS Layanan Migrasi Database

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Komponen AWS DMS

Bagian ini menjelaskan komponen internal AWS DMS dan bagaimana mereka berfungsi bersama untuk menyelesaikan migrasi data Anda. Memahami komponen dasar AWS DMS dapat membantu Anda melakukan migrasi data lebih efisien dan memberikan wawasan yang lebih baik saat memecahkan masalah atau menyelidiki masalah.

AWS DMS Migrasi terdiri dari lima komponen: penemuan database untuk bermigrasi, konversi skema otomatis, contoh replikasi, titik akhir sumber dan target, dan tugas replikasi. Anda membuat AWS DMS migrasi dengan membuat instance replikasi, titik akhir, dan tugas yang diperlukan dalam file. Wilayah AWS

Penemuan basis data

DMSFleet Advisor mengumpulkan data dari berbagai lingkungan database untuk memberikan wawasan tentang infrastruktur data Anda. DMSFleet Advisor mengumpulkan data dari database lokal dan server analitik Anda dari satu atau beberapa lokasi pusat tanpa perlu menginstalnya di setiap komputer. Saat ini, DMS Fleet Advisor mendukung SQL server database Microsoft Server, MySQL, Oracle, dan PostgreSQL.

Berdasarkan data yang ditemukan dari jaringan Anda, DMS Fleet Advisor membangun inventaris yang dapat Anda tinjau untuk menentukan server dan objek database mana yang akan dipantau. Saat detail tentang server, database, dan skema ini dikumpulkan, Anda dapat menganalisis kelayakan migrasi basis data yang Anda inginkan.

Migrasi skema dan kode

DMSKonversi Skema AWS DMS membuat migrasi database antara berbagai jenis database lebih dapat diprediksi. Anda dapat menggunakan Konversi DMS Skema untuk mengevaluasi kompleksitas migrasi untuk penyedia data sumber, lalu menggunakannya untuk mengonversi skema database dan objek kode. Anda kemudian dapat menerapkan kode yang dikonversi ke database target Anda.

Pada tingkat tinggi, Konversi DMS Skema beroperasi dengan tiga komponen berikut: profil instans, penyedia data, dan proyek migrasi. Profil instance menentukan pengaturan jaringan dan keamanan. Penyedia data menyimpan kredensil koneksi database. Proyek migrasi berisi penyedia data, profil instance, dan aturan migrasi. AWS DMS menggunakan penyedia data dan profil instance untuk merancang proses yang mengubah skema database dan objek kode.

Instans replikasi

Pada tingkat tinggi, instance AWS DMS replikasi hanyalah instans Amazon Elastic Compute Cloud EC2 (Amazon) terkelola yang menampung satu atau beberapa tugas replikasi.

Gambar berikut menunjukkan contoh contoh replikasi yang menjalankan beberapa tugas replikasi terkait.

Memulai dengan AWS DMS

Sebuah contoh replikasi tunggal dapat meng-host satu atau beberapa tugas replikasi, tergantung pada karakteristik migrasi Anda dan kapasitas server replikasi. AWS DMS menyediakan berbagai contoh replikasi sehingga Anda dapat memilih konfigurasi optimal untuk kasus penggunaan Anda. Untuk informasi lebih lanjut tentang berbagai kelas instans replikasi, lihat Memilih yang tepat AWS DMScontoh replikasi untuk migrasi Anda.

AWS DMS membuat instance replikasi pada EC2 instance Amazon. Beberapa kelas instans yang lebih kecil cukup untuk menguji layanan atau untuk migrasi kecil. Jika migrasi Anda melibatkan jumlah tabel large, atau jika Anda berniat menjalankan beberapa tugas replikasi secara bersamaan, Anda harus mempertimbangkan penggunaan salah satu instans yang lebih besar. Kami merekomendasikan pendekatan ini karena AWS DMS dapat mengkonsumsi sejumlah besar memori danCPU.

Bergantung pada kelas EC2 instans Amazon yang Anda pilih, instans replikasi Anda dilengkapi dengan penyimpanan data 50 GB atau 100 GB. Jumlah ini biasanya mencukupi untuk kebanyakan pelanggan. Namun, jika migrasi Anda melibatkan transaksi large atau volume perubahan data yang tinggi maka Anda mungkin ingin meningkatkan alokasi penyimpanan dasar. Change data capture (CDC) dapat menyebabkan data ditulis ke disk, tergantung pada seberapa cepat target dapat menulis perubahan. Karena file log juga ditulis ke disk, meningkatkan tingkat keparahan untuk logging juga akan menyebabkan konsumsi penyimpanan yang lebih tinggi.

AWS DMS dapat memberikan ketersediaan tinggi dan dukungan failover menggunakan penerapan Multi-AZ. Dalam penerapan Multi-AZ, AWS DMS secara otomatis menyediakan dan memelihara replika siaga instans replikasi di Availability Zone yang berbeda. Instans replikasi utama secara sinkron dilakukan replikasi untuk replika cadangan. Jika instans replikasi utama gagal atau menjadi tidak responsif, cadangan tersebut melanjutkan tugas yang sedang berlangsung dengan gangguan minimal. Karena instans replikasi utama terus-menerus mereplikasi keadaan pada cadangannya, deployment multi-AZ tidak dikenakan beberapa overhead performa.

Untuk informasi lebih rinci tentang contoh AWS DMS replikasi, lihatBekerja dengan AWS DMS Tipe instans replikasi.

Daripada membuat dan mengelola instance replikasi, Anda dapat membiarkan AWS DMS penyediaan replikasi Anda secara otomatis menggunakan AWS DMS Tanpa Server. Untuk informasi selengkapnya, lihat Bekerja dengan Tanpa AWS DMS Server.

Titik Akhir

AWS DMS menggunakan titik akhir untuk mengakses sumber atau penyimpanan data target Anda. Informasi koneksi tertentu akan berbeda, tergantung pada tempat menyimpan data Anda, tetapi secara umum Anda menyediakan informasi berikut ketika membuat titik akhir:

  • Tipe titik akhir - Sumber atau target.

  • Jenis mesin — Jenis mesin database, seperti Oracle atau SQL Postgre.

  • Nama server — Nama server atau alamat IP yang AWS DMS dapat menjangkau.

  • Port - Nomor port yang digunakan untuk koneksi server basis data.

  • Enkripsi — Mode Secure Socket Layer (SSL), jika SSL digunakan untuk mengenkripsi koneksi.

  • Kredensial—Nama pengguna dan kata sandi untuk suatu akun dengan hak mengakses yang diperlukan.

Saat Anda membuat titik akhir menggunakan AWS DMS konsol, konsol mengharuskan Anda menguji koneksi titik akhir. Tes harus berhasil sebelum menggunakan titik akhir dalam suatu AWS DMS tugas. Seperti informasi koneksi, kriteria uji spesifik berbeda untuk tipe mesin yang berbeda. Secara umum, AWS DMS memverifikasi bahwa basis data terdapat pada nama server dan port tertentu, dan bahwa kredensial yang disediakan dapat digunakan untuk menjalankan connect ke basis data dengan hak istimewa yang diperlukan untuk melakukan suatu migrasi. Jika tes koneksi berhasil, AWS DMS unduh dan simpan informasi skema untuk digunakan nanti selama konfigurasi tugas. Informasi skema mungkin termasuk misalnya definisi tabel, definisi kunci primer, dan definisi kunci yang unik.

Lebih dari satu replikasi tugas dapat menggunakan satu titik akhir. Misalnya, Anda mungkin memiliki dua aplikasi yang secara logika berbeda yang dijadikan host pada basis data sumber yang sama yang ingin Anda migrasikan secara terpisah. Dalam kasus ini, Anda membuat dua tugas replikasi, satu untuk setiap set tabel aplikasi. Anda dapat menggunakan AWS DMS titik akhir yang sama di kedua tugas.

Anda dapat menyesuaikan perilaku titik akhir dengan menggunakan pengaturan titik akhir. Pengaturan titik akhir dapat mengontrol berbagai perilaku seperti detail logging, ukuran file, dan parameter lainnya. Setiap jenis mesin penyimpanan data memiliki pengaturan titik akhir yang berbeda yang tersedia. Anda dapat menemukan pengaturan titik akhir tertentu untuk setiap penyimpanan data di bagian sumber atau target untuk penyimpanan data tersebut. Untuk daftar penyimpanan data sumber dan target yang didukung, lihat Sumber untuk AWS DMS dan Target untuk AWS DMS.

Untuk informasi lebih rinci tentang AWS DMS titik akhir, lihatBekerja dengan Titik akhir DMS AWS.

Tugas replikasi

Anda menggunakan tugas AWS DMS replikasi untuk memindahkan sekumpulan data dari titik akhir sumber ke titik akhir target. Membuat satu tugas replikasi adalah langkah terakhir yang perlu Anda ambil sebelum mulai migrasi.

Ketika membuat tugas replikasi, Anda menentukan pengaturan tugas berikut:

  • Instans replikasi - instans untuk menjadi host dan menjalankan tugas

  • Titik akhir sumber

  • Titik akhir target

  • Opsi jenis migrasi, seperti yang tercantum berikut. Untuk penjelasan lengkap tentang opsi tipe migrasi, lihat Membuat tugas.

    • Beban penuh (Migrasi data yang ada) – Jika Anda mampu melakukan penghentian pekerjaan yang cukup lama untuk menyalin data yang ada, memilih opsi ini merupakan pilihan yang tepat. Opsi ini hanya melakukan migrasi data dari basis data sumber ke basis data target Anda, membuat tabel-tabel bila diperlukan.

    • Full load + CDC (Migrasikan data yang ada dan replikasi perubahan yang sedang berlangsung) — Opsi ini melakukan pemuatan data penuh saat menangkap perubahan pada sumbernya. Setelah beban penuh selesai, perubahan yang ditangkap diterapkan pada target. Akhirnya, aplikasi perubahan mencapai keadaan stabil. Pada titik ini, Anda dapat menutup aplikasi Anda, membiarkan perubahan yang tersisa mengalir ke target, dan kemudian ulang kembali aplikasi Anda yang menunjuk pada target.

    • CDChanya (Replikasi perubahan data saja) — Dalam beberapa situasi, mungkin lebih efisien untuk menyalin data yang ada menggunakan metode selain AWS DMS. Misalnya, dalam migrasi homogen, menggunakan perangkat ekspor dan impor yang asli mungkin lebih efisien dalam memuat data dalam jumlah besar. Dalam situasi ini, Anda dapat menggunakan AWS DMS untuk mereplikasi perubahan yang dimulai saat Anda memulai pemuatan massal untuk membawa dan menjaga basis data sumber dan target Anda tetap sinkron.

  • Pilihan mode persiapan tabel target, seperti yang tercantum berikut. Untuk penjelasan lengkap tentang mode tabel target, lihat Membuat tugas.

    • Jangan lakukan apa-apa — AWS DMS mengasumsikan bahwa tabel target dibuat sebelumnya pada target.

    • Jatuhkan tabel pada target — AWS DMS turun dan buat ulang tabel target.

    • Pemotongan — Jika Anda membuat tabel pada target, AWS DMS potong sebelum migrasi dimulai. Jika tidak ada tabel dan Anda memilih opsi ini, AWS DMS buat tabel yang hilang.

  • LOBopsi mode, seperti yang tercantum berikut. Untuk penjelasan lengkap tentang LOB mode, lihatMenetapkan LOB dukungan untuk basis data sumber dalam suatu tugas AWS DMS.

    • Jangan sertakan LOB kolom — LOB kolom dikecualikan dari migrasi.

    • LOBMode penuh - Migrasi lengkap LOBs terlepas dari ukuran. AWS DMS bermigrasi LOBs sedikit demi sedikit dalam potongan yang dikontrol oleh parameter Ukuran Maks. LOB Mode ini lebih lambat daripada menggunakan LOB mode terbatas.

    • LOBMode terbatas - Pisahkan LOBs ke nilai yang ditentukan oleh parameter LOBUkuran Maks. Mode ini lebih cepat daripada menggunakan LOB mode penuh.

  • Pemetaan tabel – menunjukkan tabel-tabel bermigrasi dan bagaimana tabel tersebut bermigrasi. Untuk informasi selengkapnya, lihat Menggunakan pemetaan tabel untuk menentukan pengaturan tugas.

  • Transformasi data, seperti yang tercantum berikut. Untuk informasi lebih lanjut tentang transformasi data, lihat Menentukan pemilihan tabel dan transformasi aturan menggunakan JSON.

    • Mengubah nama skema, tabel, dan kolom.

    • Mengubah nama tempat penyimpanan logikal pada basis data (untuk titik akhir target Oracle).

    • Menetapkan kunci primer dan indeks unik pada target.

  • Validasi data

  • CloudWatch Pencatatan Amazon

Anda menggunakan tugas untuk melakukan migrasi data dari titik akhir sumber ke titik akhir target, dan pemrosesan tugas dilakukan pada instans replikasi. Anda menentukan tabel dan skema mana yang bermigrasi dan setiap pemrosesan khusus, seperti persyaratan pencatatan, tabel data kontrol, dan penanganan kesalahan.

Secara konseptual, tugas AWS DMS replikasi melakukan dua fungsi yang berbeda seperti yang ditunjukkan pada diagram berikut.

Memulai dengan AWS DMS

Proses beban penuh cukup mudah dipahami. Data diekstrasi dari sumber dengan cara mengekstraksi dalam jumlah banyak dan dimuat langsung ke target. Anda dapat menentukan jumlah tabel yang akan diekstrak dan dimuat secara paralel di AWS DMS konsol di bawah Pengaturan Lanjutan.

Untuk informasi selengkapnya tentang AWS DMS tugas, lihatBekerja dengan AWS DMS tugas.

Replikasi yang sedang berlangsung, atau ubah pengambilan data () CDC

Anda juga dapat menggunakan AWS DMS tugas untuk menangkap perubahan yang sedang berlangsung pada penyimpanan data sumber saat Anda memigrasikan data ke target. Proses pengambilan perubahan yang AWS DMS digunakan saat mereplikasi perubahan yang sedang berlangsung dari titik akhir sumber mengumpulkan perubahan pada log database dengan menggunakan asli mesin database. API

Dalam CDC prosesnya, tugas replikasi dirancang untuk mengalirkan perubahan dari sumber ke target, menggunakan buffer dalam memori untuk menyimpan data dalam perjalanan. Jika buffer dalam memori menjadi habis karena alasan apa pun, tugas replikasi akan menginformasikan perubahan yang tertunda ke Cache Perubahan pada disk. Ini bisa terjadi, misalnya, jika AWS DMS menangkap perubahan dari sumber lebih cepat daripada yang dapat diterapkan pada target. Dalam hal ini, Anda akan melihat Latensi target tugas melebihi Latensi sumber tugas.

Anda dapat memeriksa ini dengan menavigasi ke tugas Anda di AWS DMS konsol, dan membuka tab Pemantauan Tugas. CDCLatencySourceGrafik CDCLatencyTarget dan ditampilkan di bagian bawah halaman. Jika Anda memiliki tugas yang menunjukkan latensi target maka ada kemungkinan beberapa penyetelan pada titik akhir target yang diperlukan untuk meningkatkan nilai aplikasi.

Tugas replikasi juga menggunakan penyimpanan untuk pencatatan tugas seperti yang dibahas sebelumnya. Ruang disk yang dilengkapi oleh pra-dikonfigurasi dengan instans replikasi Anda biasanya cukup untuk pencatatan dan perubahan yang diinformasikan. Jika Anda memerlukan ruang disk tambahan, misalnya, ketika menggunakan debugging detail untuk menyelidiki masalah migrasi, Anda dapat memodifikasi instans replikasi untuk mengalokasikan lebih banyak ruang.