AWS Validasi data DMS

Oracle

Database yang kompatibel dengan PostgreSQL (PostgreSQL, Aurora PostgreSQL, atau Aurora Tanpa Server untuk PostgreSQL)

Database yang kompatibel dengan MySQL (MySQL, MariaDB, Aurora MySQL, atau Aurora Tanpa Server untuk MySQL)

Microsoft SQL Server

IBM Db2 LUW

Oracle

Database yang kompatibel dengan PostgreSQL (PostgreSQL, Aurora PostgreSQL, atau Aurora Tanpa Server untuk PostgreSQL)

Database yang kompatibel dengan MySQL (MySQL, MariaDB, Aurora MySQL, atau Aurora Tanpa Server untuk MySQL)

Microsoft SQL Server

IBM Db2 LUW

Amazon Redshift

Amazon S3. Untuk informasi tentang memvalidasi data target Amazon S3, lihat. Validasi data target Amazon S3

ValidationState—Status validasi tabel. Parameter dapat memiliki nilai berikut:

ValidationPending—Jumlah catatan yang telah dimigrasikan ke target, tetapi itu belum divalidasi.

ValidationSuspended—Jumlah catatan yang tidak AWS DMS bisa dibandingkan. Misalnya, jika catatan di sumber terus diperbarui, tidak AWS DMS dapat membandingkan sumber dan target.

ValidationFailed—Jumlah catatan yang tidak lulus fase validasi data.

Di konsol, Anda dapat memilih untuk memvalidasi tugas saat Anda membuat atau memodifikasi tugas. Untuk melihat laporan validasi data menggunakan konsol, pilih tugas di halaman Tugas dan pilih tab Statistik tabel di bagian detail.

Menggunakan CLI, atur EnableValidation parameter true saat membuat atau memodifikasi tugas untuk memulai validasi data. Contoh berikut membuat tugas dan mengaktifkan validasi data.

create-replication-task  
  --replication-task-settings '{"ValidationSettings":{"EnableValidation":true}}' 
  --replication-instance-arn arn:aws:dms:us-east-1:5731014:
     rep:36KWVMB7Q  
  --source-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CSZAEFQURFYMM  
  --target-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CGPP7MF6WT4JQ 
  --migration-type full-load-and-cdc 
  --table-mappings '{"rules": [{"rule-type": "selection", "rule-id": "1", 
     "rule-name": "1", "object-locator": {"schema-name": "data_types", "table-name": "%"}, 
     "rule-action": "include"}]}'

Gunakan perintah describe-table-statistics untuk menerima laporan validasi data dalam format JSON. Perintah berikut menunjukkan laporan validasi data.

aws dms  describe-table-statistics --replication-task-arn arn:aws:dms:us-east-1:5731014:
rep:36KWVMB7Q

Laporan tersebut akan serupa dengan berikut ini.

{
    "ReplicationTaskArn": "arn:aws:dms:us-west-2:5731014:task:VFPFTYKK2RYSI", 
    "TableStatistics": [
        {
            "ValidationPendingRecords": 2, 
            "Inserts": 25, 
            "ValidationState": "Pending records", 
            "ValidationSuspendedRecords": 0, 
            "LastUpdateTime": 1510181065.349, 
            "FullLoadErrorRows": 0, 
            "FullLoadCondtnlChkFailedRows": 0, 
            "Ddls": 0, 
            "TableName": "t_binary", 
            "ValidationFailedRecords": 0, 
            "Updates": 0, 
            "FullLoadRows": 10, 
            "TableState": "Table completed", 
            "SchemaName": "d_types_s_sqlserver", 
            "Deletes": 0
        }
}

Menggunakan AWS DMS API, buat tugas menggunakan CreateReplicationTasktindakan dan atur EnableValidation parameter ke true untuk memvalidasi data yang dimigrasikan oleh tugas. Gunakan DescribeTableStatisticstindakan untuk menerima laporan validasi data dalam format JSON.

ValidationSucceededRecordCount— Jumlah baris yang AWS DMS divalidasi, per menit.

ValidationAttemptedRecordCount— Jumlah baris yang validasi dicoba, per menit.

ValidationFailedOverallCount— Jumlah baris di mana validasi gagal.

ValidationSuspendedOverallCount— Jumlah baris di mana validasi ditangguhkan.

ValidationPendingOverallCount— Jumlah baris di mana validasi masih tertunda.

ValidationBulkQuerySourceLatency— AWS DMS dapat melakukan validasi data secara massal, terutama dalam skenario tertentu selama replikasi beban penuh atau sedang berlangsung ketika ada banyak perubahan. Metrik ini menunjukkan latensi yang diperlukan untuk membaca kumpulan data massal dari titik akhir sumber.

ValidationBulkQueryTargetLatency— AWS DMS dapat melakukan validasi data secara massal, terutama dalam skenario tertentu selama replikasi beban penuh atau sedang berlangsung ketika ada banyak perubahan. Metrik ini menunjukkan latensi yang diperlukan untuk membaca kumpulan data massal dari titik akhir target.

ValidationItemQuerySourceLatencySelama replikasi yang sedang berlangsung, validasi data dapat mengidentifikasi perubahan yang sedang berlangsung dan memvalidasi perubahan tersebut. Metrik ini menunjukkan latensi dalam membaca perubahan tersebut dari sumber. Validasi dapat menjalankan lebih banyak kueri dari yang diperlukan, berdasarkan jumlah perubahan, jika ada kesalahan selama validasi.

ValidationItemQueryTargetLatency— Selama replikasi yang sedang berlangsung, validasi data dapat mengidentifikasi perubahan yang sedang berlangsung dan memvalidasi perubahan baris demi baris. Metrik ini memberi kita latensi dalam membaca perubahan tersebut dari target. Validasi dapat menjalankan lebih banyak kueri dari yang diperlukan, berdasarkan jumlah perubahan, jika ada kesalahan selama validasi.

Kontrol tepat saat validasi terjadi - Kueri validasi menambahkan beban tambahan ke titik akhir sumber dan target. Jadi, memigrasi atau mereplikasi data dalam satu tugas terlebih dahulu, kemudian memvalidasi hasil di tugas lain dapat bermanfaat.

Kurangi beban pada instance replikasi — Memisahkan validasi data untuk dijalankan pada instancenya sendiri dapat menguntungkan.

Dapatkan dengan cepat berapa banyak baris yang tidak cocok pada saat tertentu — Misalnya, tepat sebelum atau selama pemotongan produksi jendela pemeliharaan — ke titik akhir target, Anda dapat membuat tugas validasi Full Load saja untuk mendapatkan jawaban atas pertanyaan Anda.

Ketika kegagalan validasi diharapkan untuk tugas migrasi dengan komponen CDC — Misalnya, jika memigrasikan Oracle varchar2 ke PostgreSQL, validasi CDC terus mencoba ulang jsonb baris gagal ini dan membatasi jumlah kegagalan yang dilaporkan setiap kali. Namun, Anda dapat membuat tugas validasi Full Load saja dan mendapatkan jawaban yang lebih cepat.

Anda telah mengembangkan skrip/utilitas perbaikan data yang membaca tabel kegagalan validasi — (Lihat juga,). Pemecahan Masalah Tugas validasi Full Load hanya dengan cepat melaporkan kegagalan untuk skrip perbaikan data untuk ditindaklanjuti.

Volume kueri

Jenis kueri DMLpada tabel sumber

Latensi tugas

Jumlah total catatan

Pengaturan validasi seperti PartitionSize

Kurangi ThreadCount pengaturan PartitionSize dan untuk membantu mengurangi beban kerja selama validasi beban penuh. Perhatikan bahwa ini akan memperlambat validasi data.

Meskipun Redshift tidak menerapkan kunci utama, AWS DMS bergantung pada kunci utama untuk mengidentifikasi catatan secara unik pada target untuk validasi data. Jika memungkinkan, setel kunci utama untuk mencerminkan kunci pengurutan sehingga kueri validasi beban penuh dijalankan lebih cepat.

Oracle: berikan EXECUTE izin SYS.DBMS_CRYPTO ke akun pengguna yang mengakses endpoint Oracle:

GRANT EXECUTE ON SYS.DBMS_CRYPTO TO dms_endpoint_user;

Instal pgcrypto ekstensi pada database PostgreSQL:

Untuk instance PostgreSQL yang dikelola sendiri, Anda perlu menginstal contrib pustaka modul dan membuat ekstensi:

Untuk instans Amazon RDS for PostgreSQL, konfigurasikan mode SSL untuk titik akhir: AWS DMS

Untuk PostgreSQL 12 dan 13, buat agregat: BIT_XOR

CREATE OR REPLACE AGGREGATE BIT_XOR(IN v bit) (SFUNC = bitxor, STYPE = bit);

Persyaratan endpoint database: Peningkatan ini hanya diaktifkan untuk endpoint database yang memenuhi kriteria berikut:

Dukungan versi basis data:

Validasi data mengharuskan tabel memiliki kunci primer atau indeks unik.

Validasi nilai NULL PK/UK tidak didukung.

Jika kolasi kolom kunci primer dalam instans PostgreSQL target tidak diatur ke "C", urutan kunci primer berbeda dibandingkan dengan urutan di Oracle. Jika urutan berbeda antara PostgreSQL dan Oracle, validasi data gagal untuk memvalidasi catatan.

Validasi data menghasilkan kueri tambahan terhadap basis data sumber dan target. Anda harus memastikan bahwa kedua basis data memiliki cukup sumber daya untuk menangani beban tambahan ini. Ini terutama berlaku untuk target Redshift. Untuk informasi lebih lanjut, lihat Kinerja Validasi Pergeseran Merah berikut ini.

Validasi data tidak didukung saat mengkonsolidasikan beberapa database menjadi satu.

Untuk sumber atau target titik akhir Oracle, AWS DMS gunakan DBMS_CRYPTO untuk memvalidasi. LOBs Jika endpoint Oracle Anda menggunakan LOBs, maka Anda harus memberikan izin eksekusi pada dbms_crypto ke akun pengguna yang digunakan untuk mengakses endpoint Oracle. Anda dapat melakukan hal tersebut dengan menjalankan pernyataan berikut:

grant execute on sys.dbms_crypto to dms_endpoint_user;

Jika database target dimodifikasi di luar AWS DMS selama validasi, maka perbedaan mungkin tidak dilaporkan secara akurat. Hasil ini dapat terjadi jika salah satu aplikasi Anda menulis data ke tabel target, saat AWS DMS melakukan validasi pada tabel yang sama.

Jika satu atau beberapa baris terus dimodifikasi selama validasi, maka tidak AWS DMS dapat memvalidasi baris tersebut.

Jika AWS DMS mendeteksi lebih dari 10.000 catatan yang gagal atau ditangguhkan, itu menghentikan validasi. Sebelum Anda melanjutkan lebih jauh, selesaikan masalah yang mendasari dengan data tersebut.

AWS DMS tidak mendukung validasi data tampilan.

AWS DMS tidak mendukung validasi data saat pengaturan tugas substitusi karakter digunakan.

AWS DMS tidak mendukung validasi tipe Oracle LONG.

AWS DMS tidak mendukung validasi tipe Oracle Spatial selama migrasi heterogen.

Validasi data mengabaikan kolom-kolom tersebut dalam tabel yang transformasi masking datanya ada dalam pemetaan tabel.

Validasi data melewatkan seluruh tabel jika ada aturan transformasi masking data untuk kolom PK/UK. Status validasi akan ditampilkan sebagai Tidak ada kunci utama untuk tabel tersebut.