Validasi data AWS DMS

Oracle

Database yang kompatibel dengan PostgreSQL (PostgreSQL, Aurora PostgreSQL, atau Aurora Tanpa Server untuk PostgreSQL)

Database yang kompatibel dengan MySQL (MySQL, MariaDB, Aurora MySQL, atau Aurora Tanpa Server untuk MySQL)

Microsoft SQL Server

IBM Db2 LUW

Oracle

Database yang kompatibel dengan PostgreSQL (PostgreSQL, Aurora PostgreSQL, atau Aurora Tanpa Server untuk PostgreSQL)

Database yang kompatibel dengan MySQL (MySQL, MariaDB, Aurora MySQL, atau Aurora Tanpa Server untuk MySQL)

Microsoft SQL Server

IBM Db2 LUW

Amazon Redshift

Amazon S3. Untuk informasi tentang memvalidasi data target Amazon S3, lihat. Validasi data target Amazon S3

ValidationState—Status validasi tabel. Parameter dapat memiliki nilai berikut:

ValidationPending—Jumlah catatan yang telah dimigrasikan ke target, tetapi itu belum divalidasi.

ValidationSuspended—Jumlah catatan yang tidak AWS DMS bisa dibandingkan. Misalnya, jika catatan di sumber terus diperbarui, AWS DMS tidak dapat membandingkan sumber dan target.

ValidationFailed—Jumlah catatan yang tidak lulus fase validasi data.

Di konsol, Anda dapat memilih untuk memvalidasi tugas saat Anda membuat atau memodifikasi tugas. Untuk melihat laporan validasi data menggunakan konsol, pilih tugas di halaman Tugas dan pilih tab Statistik tabel di bagian detail.

Menggunakan CLI, atur EnableValidation parameter true saat membuat atau memodifikasi tugas untuk memulai validasi data. Contoh berikut membuat tugas dan mengaktifkan validasi data.

create-replication-task  
  --replication-task-settings '{"ValidationSettings":{"EnableValidation":true}}' 
  --replication-instance-arn arn:aws:dms:us-east-1:5731014:
     rep:36KWVMB7Q  
  --source-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CSZAEFQURFYMM  
  --target-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CGPP7MF6WT4JQ 
  --migration-type full-load-and-cdc 
  --table-mappings '{"rules": [{"rule-type": "selection", "rule-id": "1", 
     "rule-name": "1", "object-locator": {"schema-name": "data_types", "table-name": "%"}, 
     "rule-action": "include"}]}'

Gunakan perintah describe-table-statistics untuk menerima laporan validasi data dalam format JSON. Perintah berikut menunjukkan laporan validasi data.

aws dms  describe-table-statistics --replication-task-arn arn:aws:dms:us-east-1:5731014:
rep:36KWVMB7Q

Laporan tersebut akan serupa dengan berikut ini.

{
    "ReplicationTaskArn": "arn:aws:dms:us-west-2:5731014:task:VFPFTYKK2RYSI", 
    "TableStatistics": [
        {
            "ValidationPendingRecords": 2, 
            "Inserts": 25, 
            "ValidationState": "Pending records", 
            "ValidationSuspendedRecords": 0, 
            "LastUpdateTime": 1510181065.349, 
            "FullLoadErrorRows": 0, 
            "FullLoadCondtnlChkFailedRows": 0, 
            "Ddls": 0, 
            "TableName": "t_binary", 
            "ValidationFailedRecords": 0, 
            "Updates": 0, 
            "FullLoadRows": 10, 
            "TableState": "Table completed", 
            "SchemaName": "d_types_s_sqlserver", 
            "Deletes": 0
        }
}

Menggunakan AWS DMS API, buat tugas menggunakan CreateReplicationTasktindakan dan atur EnableValidation parameter ke true untuk memvalidasi data yang dimigrasikan oleh tugas. Gunakan DescribeTableStatisticstindakan untuk menerima laporan validasi data dalam format JSON.

ValidationSucceededRecordCount— Jumlah baris yang AWS DMS divalidasi, per menit.

ValidationAttemptedRecordCount— Jumlah baris yang validasi dicoba, per menit.

ValidationFailedOverallCount— Jumlah baris di mana validasi gagal.

ValidationSuspendedOverallCount— Jumlah baris di mana validasi ditangguhkan.

ValidationPendingOverallCount— Jumlah baris di mana validasi masih tertunda.

ValidationBulkQuerySourceLatency— AWS DMS dapat melakukan validasi data secara massal, terutama dalam skenario tertentu selama replikasi beban penuh atau sedang berlangsung ketika ada banyak perubahan. Metrik ini menunjukkan latensi yang diperlukan untuk membaca kumpulan data massal dari titik akhir sumber.

ValidationBulkQueryTargetLatency— AWS DMS dapat melakukan validasi data secara massal, terutama dalam skenario tertentu selama replikasi beban penuh atau sedang berlangsung ketika ada banyak perubahan. Metrik ini menunjukkan latensi yang diperlukan untuk membaca kumpulan data massal dari titik akhir target.

ValidationItemQuerySourceLatencySelama replikasi yang sedang berlangsung, validasi data dapat mengidentifikasi perubahan yang sedang berlangsung dan memvalidasi perubahan tersebut. Metrik ini menunjukkan latensi dalam membaca perubahan tersebut dari sumber. Validasi dapat menjalankan lebih banyak kueri dari yang diperlukan, berdasarkan jumlah perubahan, jika ada kesalahan selama validasi.

ValidationItemQueryTargetLatency— Selama replikasi yang sedang berlangsung, validasi data dapat mengidentifikasi perubahan yang sedang berlangsung dan memvalidasi perubahan baris demi baris. Metrik ini memberi kita latensi dalam membaca perubahan tersebut dari target. Validasi dapat menjalankan lebih banyak kueri dari yang diperlukan, berdasarkan jumlah perubahan, jika ada kesalahan selama validasi.

Kontrol tepat saat validasi terjadi - Kueri validasi menambahkan beban tambahan ke titik akhir sumber dan target. Jadi, memigrasi atau mereplikasi data dalam satu tugas terlebih dahulu, kemudian memvalidasi hasil di tugas lain dapat bermanfaat.

Kurangi beban pada instance replikasi — Memisahkan validasi data untuk dijalankan pada instancenya sendiri dapat menguntungkan.

Dapatkan dengan cepat berapa banyak baris yang tidak cocok pada saat tertentu — Misalnya, tepat sebelum atau selama pemotongan produksi jendela pemeliharaan — ke titik akhir target, Anda dapat membuat tugas validasi Full Load saja untuk mendapatkan jawaban atas pertanyaan Anda.

Ketika kegagalan validasi diharapkan untuk tugas migrasi dengan komponen CDC — Misalnya, jika memigrasikan Oracle varchar2 ke PostgreSQL, validasi CDC terus mencoba ulang jsonb baris gagal ini dan membatasi jumlah kegagalan yang dilaporkan setiap kali. Namun, Anda dapat membuat tugas validasi Full Load saja dan mendapatkan jawaban yang lebih cepat.

Anda telah mengembangkan skrip/utilitas perbaikan data yang membaca tabel kegagalan validasi — (Lihat juga,). Pemecahan Masalah Tugas validasi Full Load hanya dengan cepat melaporkan kegagalan untuk skrip perbaikan data untuk ditindaklanjuti.

Volume kueri

Jenis kueri DMLpada tabel sumber

Latensi tugas

Jumlah total catatan

Pengaturan validasi seperti PartitionSize

Kurangi ThreadCount pengaturan PartitionSize dan untuk membantu mengurangi beban kerja selama validasi beban penuh. Perhatikan bahwa ini akan memperlambat validasi data.

Meskipun Redshift tidak menerapkan kunci utama, AWS DMS bergantung pada kunci utama untuk mengidentifikasi catatan secara unik pada target untuk validasi data. Jika memungkinkan, setel kunci utama untuk mencerminkan kunci pengurutan sehingga kueri validasi beban penuh dijalankan lebih cepat.

Validasi data mengharuskan tabel memiliki kunci primer atau indeks unik.

Validasi nilai NULL PK/UK tidak didukung.

Jika kolasi kolom kunci primer dalam instans PostgreSQL target tidak diatur ke "C", urutan kunci primer berbeda dibandingkan dengan urutan di Oracle. Jika urutan berbeda antara PostgreSQL dan Oracle, validasi data gagal untuk memvalidasi catatan.

Validasi data menghasilkan kueri tambahan terhadap basis data sumber dan target. Anda harus memastikan bahwa kedua basis data memiliki cukup sumber daya untuk menangani beban tambahan ini. Ini terutama berlaku untuk target Redshift. Untuk informasi lebih lanjut, lihat Kinerja Validasi Pergeseran Merah berikut ini.

Validasi data tidak didukung saat mengkonsolidasikan beberapa database menjadi satu.

Untuk titik akhir Oracle sumber atau target, AWS DMS menggunakan DBMS_CRYPTO untuk memvalidasi LOB. Jika titik akhir Oracle Anda menggunakan LOB, maka Anda harus memberikan izin eksekusi pada dbms_crypto ke akun pengguna yang digunakan untuk mengakses titik akhir Oracle. Anda dapat melakukan hal tersebut dengan menjalankan pernyataan berikut:

grant execute on sys.dbms_crypto to dms_endpoint_user;

Jika basis data target dimodifikasi di luar AWS DMS selama validasi, maka diskrepansi mungkin tidak dilaporkan secara akurat. Hasil ini dapat terjadi jika salah satu aplikasi Anda menulis data ke tabel target, sementara AWS DMS sedang melakukan validasi pada tabel yang sama.

Jika satu atau beberapa baris terus dimodifikasi selama validasi, maka tidak AWS DMS dapat memvalidasi baris tersebut.

Jika AWS DMS mendeteksi lebih dari 10.000 catatan yang gagal atau ditangguhkan, validasi akan dihentikan. Sebelum Anda melanjutkan lebih jauh, selesaikan masalah yang mendasari dengan data tersebut.

AWS DMStidak mendukung validasi data tampilan.

AWS DMStidak mendukung validasi data saat pengaturan tugas substitusi karakter digunakan.

AWS DMStidak mendukung validasi tipe Oracle LONG.

AWS DMStidak mendukung validasi tipe Oracle Spatial selama migrasi heterogen.