AWS DMSvalidasi data

Oracle

Database yang SQL kompatibel dengan Postgre (Postgre, Aurora PostgreSQL, atau Aurora Tanpa Server untuk SQL Postgre) SQL

SQLDatabase saya yang kompatibel (MySQL, MariaDB, Aurora My, atau Aurora Tanpa Server untuk SQL Saya) SQL

SQLServer Microsoft

IBMDb2 LUW

Oracle

Database yang SQL kompatibel dengan Postgre (Postgre, Aurora PostgreSQL, atau Aurora Tanpa Server untuk SQL Postgre) SQL

SQLDatabase saya yang kompatibel (MySQL, MariaDB, Aurora My, atau Aurora Tanpa Server untuk SQL Saya) SQL

SQLServer Microsoft

IBMDb2 LUW

Amazon Redshift

Amazon S3. Untuk informasi tentang memvalidasi data target Amazon S3, lihat. Validasi data target Amazon S3

ValidationState—Status validasi tabel. Parameter dapat memiliki nilai berikut:

ValidationPending—Jumlah catatan yang telah dimigrasikan ke target, tetapi itu belum divalidasi.

ValidationSuspended—Jumlah catatan yang tidak AWS DMS bisa dibandingkan. Misalnya, jika catatan di sumber terus diperbarui, tidak AWS DMS dapat membandingkan sumber dan target.

ValidationFailed—Jumlah catatan yang tidak lulus fase validasi data.

Di konsol, Anda dapat memilih untuk memvalidasi tugas saat Anda membuat atau memodifikasi tugas. Untuk melihat laporan validasi data menggunakan konsol, pilih tugas di halaman Tugas dan pilih tab Statistik tabel di bagian detail.

Dengan menggunakanCLI, atur EnableValidation parameter true saat membuat atau memodifikasi tugas untuk memulai validasi data. Contoh berikut membuat tugas dan mengaktifkan validasi data.

create-replication-task  
  --replication-task-settings '{"ValidationSettings":{"EnableValidation":true}}' 
  --replication-instance-arn arn:aws:dms:us-east-1:5731014:
     rep:36KWVMB7Q  
  --source-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CSZAEFQURFYMM  
  --target-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CGPP7MF6WT4JQ 
  --migration-type full-load-and-cdc 
  --table-mappings '{"rules": [{"rule-type": "selection", "rule-id": "1", 
     "rule-name": "1", "object-locator": {"schema-name": "data_types", "table-name": "%"}, 
     "rule-action": "include"}]}'

Gunakan describe-table-statistics perintah untuk menerima laporan validasi data dalam JSON format. Perintah berikut menunjukkan laporan validasi data.

aws dms  describe-table-statistics --replication-task-arn arn:aws:dms:us-east-1:5731014:
rep:36KWVMB7Q

Laporan tersebut akan serupa dengan berikut ini.

{
    "ReplicationTaskArn": "arn:aws:dms:us-west-2:5731014:task:VFPFTYKK2RYSI", 
    "TableStatistics": [
        {
            "ValidationPendingRecords": 2, 
            "Inserts": 25, 
            "ValidationState": "Pending records", 
            "ValidationSuspendedRecords": 0, 
            "LastUpdateTime": 1510181065.349, 
            "FullLoadErrorRows": 0, 
            "FullLoadCondtnlChkFailedRows": 0, 
            "Ddls": 0, 
            "TableName": "t_binary", 
            "ValidationFailedRecords": 0, 
            "Updates": 0, 
            "FullLoadRows": 10, 
            "TableState": "Table completed", 
            "SchemaName": "d_types_s_sqlserver", 
            "Deletes": 0
        }
}

Menggunakan AWS DMS API, buat tugas menggunakan CreateReplicationTasktindakan dan atur EnableValidation parameter ke true untuk memvalidasi data yang dimigrasi oleh tugas. Gunakan DescribeTableStatisticstindakan untuk menerima laporan validasi data dalam JSON format.

ValidationSucceededRecordCount— Jumlah baris yang AWS DMS divalidasi, per menit.

ValidationAttemptedRecordCount— Jumlah baris yang validasi dicoba, per menit.

ValidationFailedOverallCount— Jumlah baris di mana validasi gagal.

ValidationSuspendedOverallCount— Jumlah baris di mana validasi ditangguhkan.

ValidationPendingOverallCount— Jumlah baris di mana validasi masih tertunda.

ValidationBulkQuerySourceLatency— AWS DMS dapat melakukan validasi data secara massal, terutama dalam skenario tertentu selama replikasi beban penuh atau sedang berlangsung ketika ada banyak perubahan. Metrik ini menunjukkan latensi yang diperlukan untuk membaca kumpulan data massal dari titik akhir sumber.

ValidationBulkQueryTargetLatency— AWS DMS dapat melakukan validasi data secara massal, terutama dalam skenario tertentu selama replikasi beban penuh atau sedang berlangsung ketika ada banyak perubahan. Metrik ini menunjukkan latensi yang diperlukan untuk membaca kumpulan data massal dari titik akhir target.

ValidationItemQuerySourceLatencySelama replikasi yang sedang berlangsung, validasi data dapat mengidentifikasi perubahan yang sedang berlangsung dan memvalidasi perubahan tersebut. Metrik ini menunjukkan latensi dalam membaca perubahan tersebut dari sumber. Validasi dapat menjalankan lebih banyak kueri dari yang diperlukan, berdasarkan jumlah perubahan, jika ada kesalahan selama validasi.

ValidationItemQueryTargetLatency— Selama replikasi yang sedang berlangsung, validasi data dapat mengidentifikasi perubahan yang sedang berlangsung dan memvalidasi perubahan baris demi baris. Metrik ini memberi kita latensi dalam membaca perubahan tersebut dari target. Validasi dapat menjalankan lebih banyak kueri dari yang diperlukan, berdasarkan jumlah perubahan, jika ada kesalahan selama validasi.

Kontrol tepat saat validasi terjadi - Kueri validasi menambahkan beban tambahan ke titik akhir sumber dan target. Jadi, memigrasi atau mereplikasi data dalam satu tugas terlebih dahulu, kemudian memvalidasi hasil di tugas lain dapat bermanfaat.

Kurangi beban pada instance replikasi — Memisahkan validasi data untuk dijalankan pada instancenya sendiri dapat menguntungkan.

Dapatkan dengan cepat berapa banyak baris yang tidak cocok pada saat tertentu — Misalnya, tepat sebelum atau selama pemotongan produksi jendela pemeliharaan — ke titik akhir target, Anda dapat membuat tugas validasi Full Load saja untuk mendapatkan jawaban atas pertanyaan Anda.

Ketika kegagalan validasi diharapkan untuk tugas migrasi dengan CDC komponen — Misalnya, jika memigrasikan Oracle varchar2 ke Postgre SQLjsonb, CDC validasi terus mencoba ulang baris gagal ini dan membatasi jumlah kegagalan yang dilaporkan setiap kali. Namun, Anda dapat membuat tugas validasi Full Load saja dan mendapatkan jawaban yang lebih cepat.

Anda telah mengembangkan skrip/utilitas perbaikan data yang membaca tabel kegagalan validasi — (Lihat juga,). Pemecahan Masalah Tugas validasi Full Load hanya dengan cepat melaporkan kegagalan untuk skrip perbaikan data untuk ditindaklanjuti.

Volume kueri

Jenis DML kueri pada tabel sumber

Latensi tugas

Jumlah total catatan

Pengaturan validasi seperti PartitionSize

Kurangi ThreadCount pengaturan PartitionSize dan untuk membantu mengurangi beban kerja selama validasi beban penuh. Perhatikan bahwa ini akan memperlambat validasi data.

Meskipun Redshift tidak menerapkan kunci utama, AWS DMS bergantung pada kunci utama untuk mengidentifikasi catatan secara unik pada target untuk validasi data. Jika memungkinkan, setel kunci utama untuk mencerminkan kunci pengurutan sehingga kueri validasi beban penuh dijalankan lebih cepat.

Oracle: berikan EXECUTE izin SYS.DBMS_CRYPTO ke akun pengguna yang mengakses endpoint Oracle:

GRANT EXECUTE ON SYS.DBMS_CRYPTO TO dms_endpoint_user;

Instal pgcrypto ekstensi pada database PostgreSQL:

Untuk SQL instance Postgre yang dikelola sendiri, Anda perlu menginstal pustaka contrib modul dan membuat ekstensi:

Untuk SQL instans Amazon RDS untuk Postgre, konfigurasikan SSL mode untuk titik akhir: AWS DMS

Untuk Postgre SQL 12 dan 13, buat agregat: BIT_XOR

CREATE OR REPLACE AGGREGATE BIT_XOR(IN v bit) (SFUNC = bitxor, STYPE = bit);

Persyaratan endpoint database: Peningkatan ini hanya diaktifkan untuk endpoint database yang memenuhi kriteria berikut:

Dukungan versi basis data:

Validasi data mengharuskan tabel memiliki kunci primer atau indeks unik.

Validasi nilai NULL PK/UK tidak didukung.

Jika pemeriksaan kolom kunci utama dalam SQL instance Postgre target tidak disetel ke “C”, urutan pengurutan kunci primer berbeda dibandingkan dengan urutan pengurutan di Oracle. Jika urutan pengurutan berbeda antara Postgre SQL dan Oracle, validasi data gagal memvalidasi catatan.

Validasi data menghasilkan kueri tambahan terhadap basis data sumber dan target. Anda harus memastikan bahwa kedua basis data memiliki cukup sumber daya untuk menangani beban tambahan ini. Ini terutama berlaku untuk target Redshift. Untuk informasi lebih lanjut, lihat Kinerja Validasi Pergeseran Merah berikut ini.

Validasi data tidak didukung saat mengkonsolidasikan beberapa database menjadi satu.

Untuk sumber atau target titik akhir Oracle, AWS DMS gunakan DBMS _ CRYPTO untuk memvalidasi. LOBs Jika endpoint Oracle Anda menggunakanLOBs, maka Anda harus memberikan izin eksekusi pada dbms_crypto ke akun pengguna yang digunakan untuk mengakses endpoint Oracle. Anda dapat melakukan hal tersebut dengan menjalankan pernyataan berikut:

grant execute on sys.dbms_crypto to dms_endpoint_user;

Jika database target dimodifikasi di luar AWS DMS selama validasi, maka perbedaan mungkin tidak dilaporkan secara akurat. Hasil ini dapat terjadi jika salah satu aplikasi Anda menulis data ke tabel target, saat AWS DMS melakukan validasi pada tabel yang sama.

Jika satu atau beberapa baris terus dimodifikasi selama validasi, maka tidak AWS DMS dapat memvalidasi baris tersebut.

Jika AWS DMS mendeteksi lebih dari 10.000 catatan yang gagal atau ditangguhkan, itu menghentikan validasi. Sebelum Anda melanjutkan lebih jauh, selesaikan masalah yang mendasari dengan data tersebut.

AWS DMS tidak mendukung validasi data tampilan.

AWS DMS tidak mendukung validasi data saat pengaturan tugas substitusi karakter digunakan.

AWS DMS tidak mendukung validasi tipe OracleLONG.

AWS DMS tidak mendukung validasi tipe Oracle Spatial selama migrasi heterogen.

Validasi data mengabaikan kolom-kolom tersebut dalam tabel yang transformasi masking datanya ada dalam pemetaan tabel.

Validasi data melewatkan seluruh tabel jika ada aturan transformasi masking data untuk kolom PK/UK. Status validasi akan ditampilkan sebagai Tidak ada kunci utama untuk tabel tersebut.