Pengaturan tugas validasi data - AWS Layanan Migrasi Database

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pengaturan tugas validasi data

Anda dapat memastikan bahwa data Anda dimigrasi secara akurat dari sumber ke target. Jika Anda mengaktifkan validasi untuk tugas, AWS DMS mulailah membandingkan sumber dan data target segera setelah beban penuh dilakukan untuk tabel. Untuk informasi lebih lanjut tentang validasi data tugas, persyaratan, cakupan dukungan basis data, dan metrik yang dilaporkan, lihat AWS Validasi data DMS. Untuk informasi tentang cara menggunakan file konfigurasi tugas untuk mengatur setelan tugas, lihatContoh pengaturan tugas.

Pengaturan validasi data dan nilai-nilai mereka mencakup hal berikut:

  • EnableValidation – Mengaktifkan validasi data bila diatur ke BETUL. Jika tidak, validasi dinonaktifkan untuk tugas tersebut. Nilai default-nya adalah SALAH.

  • ValidationMode— Mengontrol bagaimana DMS akan memvalidasi data dalam tabel target terhadap tabel sumber. AWS DMS menyediakan pengaturan ini untuk ekstensibilitas masa depan. Saat ini, nilai default dan satu-satunya yang valid adalahROW_LEVEL. AWS DMS memvalidasi semua baris antara tabel sumber dan target.

  • FailureMaxCount – Menentukan jumlah maksimum catatan yang dapat gagal validasi sebelum validasi ditangguhkan untuk tugas tersebut. Nilai default adalah 10,000. Jika Anda ingin validasi untuk melanjutkan terlepas dari jumlah catatan yang gagal validasi, menetapkan nilai ini lebih tinggi dari jumlah catatan dalam sumber.

  • HandleCollationDiff— Ketika opsi ini diatur ketrue, validasi memperhitungkan perbedaan pengumpulan kolom di Postgre SQL dan SQL Microsoft Server endpoint saat mengidentifikasi sumber dan catatan target untuk dibandingkan. Jika tidak, perbedaan tersebut dalam pemeriksaan kolom diabaikan untuk validasi. Collations kolom dapat mendikte urutan baris, yang penting untuk validasi data. Mengatur HandleCollationDiff ke BENAR menyelesaikan perbedaan kolasi secara otomatis dan mencegah positif palsu dalam validasi data. Nilai default-nya adalah false.

  • RecordFailureDelayInMinutes— Menentukan waktu tunda dalam beberapa menit sebelum melaporkan rincian kegagalan validasi.

  • RecordFailureDelayLimitInMinutes – Menentukan penundaan sebelum melaporkan detail kegagalan validasi. Biasanya, AWS DMS menggunakan latensi tugas untuk mengenali penundaan aktual agar perubahan sampai ke target untuk mencegah positif palsu. Pengaturan ini mengesampingkan nilai penundaan aktual dan memungkinkan Anda mengatur penundaan yang lebih tinggi sebelum melaporkan metrik validasi apa pun. Nilai default adalah 0.

  • RecordSuspendDelayInMinutes- Menentukan waktu tunda dalam beberapa menit sebelum tabel ditangguhkan dari validasi karena ambang kesalahan ditetapkan. FailureMaxCount

  • SkipLobColumns— Ketika opsi ini diatur ketrue, AWS DMS melewatkan validasi data untuk semua LOB kolom di bagian tabel dari validasi tugas. Nilai default-nya adalah false.

  • TableFailureMaxCount- Menentukan jumlah maksimum baris dalam satu tabel yang dapat gagal validasi sebelum validasi ditangguhkan untuk tabel. Nilai default adalah 1,000.

  • ThreadCount— Menentukan jumlah thread eksekusi yang AWS DMS menggunakan selama validasi. Setiap thread memilih not-yet-validated data dari sumber dan target untuk membandingkan dan memvalidasi. Nilai bawaannya adalah 5. Jika Anda mengatur ThreadCount ke angka yang lebih tinggi, AWS DMS dapat menyelesaikan validasi lebih cepat. Namun, AWS DMS kemudian menjalankan kueri yang lebih simultan, mengkonsumsi lebih banyak sumber daya pada sumber dan target.

  • ValidationOnly— Ketika opsi ini diatur ketrue, tugas melakukan validasi data tanpa melakukan migrasi atau replikasi data apa pun. Nilai default-nya adalah false. Anda tidak dapat mengubah ValidationOnly pengaturan setelah tugas dibuat.

    Anda harus mengatur TargetTablePrepModeke DO_NOTHING (default untuk tugas validasi saja) dan menyetel Jenis Migrasi ke salah satu dari berikut ini:

    • Full Load — Setel tugas Jenis migrasi ke Migrasi data yang ada di AWS DMS konsol. Atau, dalam AWS DMS API set jenis migrasi ke FULL -LOAD.

    • CDC— Setel tugas Jenis migrasi ke Replikasi perubahan data hanya di AWS DMS konsol. Atau, dalam AWS DMS API set jenis migrasi keCDC.

    Terlepas dari jenis migrasi yang dipilih, data sebenarnya tidak dimigrasi atau direplikasi selama tugas validasi saja.

    Untuk informasi selengkapnya, lihat Tugas hanya validasi.

    penting

    Parameter ValidationOnly tetap. Itu tidak dapat dimodifikasi untuk tugas setelah tugas itu dibuat.

  • ValidationPartialLobSize- Menentukan jika Anda ingin melakukan validasi sebagian untuk LOB kolom bukan memvalidasi semua data yang disimpan dalam kolom. Ini adalah sesuatu yang Anda mungkin menemukan berguna ketika Anda memigrasi hanya sebagian dari LOB data dan bukan seluruh kumpulan LOB data. Nilai dalam unit KB. Nilai default adalah 0, yang berarti AWS DMS memvalidasi semua data LOB kolom. Misalnya, "ValidationPartialLobSize": 32 berarti AWS DMS hanya memvalidasi 32KB pertama dari data kolom di sumber dan target.

  • PartitionSize – Menentukan ukuran batch catatan untuk dibaca sebagai perbandingan dari sumber dan target. Default adalah 10.000.

  • ValidationQueryCdcDelaySeconds— Jumlah waktu kueri validasi pertama tertunda pada sumber dan target untuk setiap CDC pembaruan. Hal ini dapat membantu mengurangi pertentangan sumber daya ketika latensi migrasi tinggi. Sebuah validasi hanya tugas secara otomatis menetapkan opsi ini untuk 180 detik. Default-nya adalah 0.

Misalnya, berikut ini JSON memungkinkan validasi data dengan dua kali jumlah default thread. Ini juga menjelaskan perbedaan urutan catatan yang disebabkan oleh perbedaan pemeriksaan kolom di titik akhir PostgreSQL. Selain itu, menyediakan penundaan pelaporan validasi ke akun untuk waktu tambahan untuk memproses kegagalan validasi.


"ValidationSettings": {
     "EnableValidation": true,
     "ThreadCount": 10,
     "HandleCollationDiff": true,
     "RecordFailureDelayLimitInMinutes": 30
  }
catatan

Untuk titik akhir Oracle, AWS DMS gunakan DBMS _ CRYPTO untuk memvalidasi. BLOBs Jika endpoint Oracle Anda menggunakanBLOBs, berikan execute izin untuk DBMS _ CRYPTO ke akun pengguna yang mengakses endpoint Oracle. Untuk melakukan ini, jalankan pernyataan berikut.

grant execute on sys.dbms_crypto to dms_endpoint_user;