AWS DMS 資料驗證

Oracle

與 PostgreSQL 相容的資料庫 (PostgreSQL、Aurora PostgreSQL 或適用於 PostgreSQL 的 Aurora Serverless)

與 MySQL 相容的資料庫 (MySQL、MariaDB、Aurora MySQL 或適用於 MySQL 的 Aurora Serverless)

Microsoft SQL Server

IBM Db2 LUW

Oracle

與 PostgreSQL 相容的資料庫 (PostgreSQL、Aurora PostgreSQL 或適用於 PostgreSQL 的 Aurora Serverless)

與 MySQL 相容的資料庫 (MySQL、MariaDB、Aurora MySQL 或適用於 MySQL 的 Aurora Serverless)

Microsoft SQL Server

IBM Db2 LUW

Amazon Redshift

Amazon S3 如需驗證 Amazon S3 目標資料的相關資訊，請參閱 Amazon S3 目標資料驗證。

ValidationState表格的驗證狀態。其參數可能具有下列值：

ValidationPending已移轉至目標但尚未驗證的記錄數目。

ValidationSuspended無法比較的 AWS DMS 記錄數。例如，如果來源上的記錄不斷更新，就 AWS DMS 無法比較來源和目標。

ValidationFailed未通過資料驗證階段的記錄數。

在主控台上，您可以選擇在建立或修改任務時驗證任務。若要使用主控台檢視資料驗證報告，請在 Tasks (任務) 頁面上選擇任務，然後在詳細資訊區段中選擇 Table statistics (資料表統計資料) 標籤。

建立或修改任務時，使用 CLI 將 EnableValidation 參數設為 true 以開始資料驗證。下列範例會建立任務並啟用資料驗證。

create-replication-task  
  --replication-task-settings '{"ValidationSettings":{"EnableValidation":true}}' 
  --replication-instance-arn arn:aws:dms:us-east-1:5731014:
     rep:36KWVMB7Q  
  --source-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CSZAEFQURFYMM  
  --target-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CGPP7MF6WT4JQ 
  --migration-type full-load-and-cdc 
  --table-mappings '{"rules": [{"rule-type": "selection", "rule-id": "1", 
     "rule-name": "1", "object-locator": {"schema-name": "data_types", "table-name": "%"}, 
     "rule-action": "include"}]}'

您可以使用 describe-table-statistics 命令來接收 JSON 格式的資料驗證報告。下列命令會顯示資料驗證報告。

aws dms  describe-table-statistics --replication-task-arn arn:aws:dms:us-east-1:5731014:
rep:36KWVMB7Q

此報告會類似如下。

{
    "ReplicationTaskArn": "arn:aws:dms:us-west-2:5731014:task:VFPFTYKK2RYSI", 
    "TableStatistics": [
        {
            "ValidationPendingRecords": 2, 
            "Inserts": 25, 
            "ValidationState": "Pending records", 
            "ValidationSuspendedRecords": 0, 
            "LastUpdateTime": 1510181065.349, 
            "FullLoadErrorRows": 0, 
            "FullLoadCondtnlChkFailedRows": 0, 
            "Ddls": 0, 
            "TableName": "t_binary", 
            "ValidationFailedRecords": 0, 
            "Updates": 0, 
            "FullLoadRows": 10, 
            "TableState": "Table completed", 
            "SchemaName": "d_types_s_sqlserver", 
            "Deletes": 0
        }
}

使用 AWS DMS API，使用動作建立工CreateReplicationTask作，並將EnableValidation參數設定為 true，以驗證工作移轉的資料。使用此DescribeTableStatistics動作可接收 JSON 格式的資料驗證報告。

ValidationSucceededRecordCount— AWS DMS 已驗證的資料列數，每分鐘。

ValidationAttemptedRecordCount— 每分鐘嘗試驗證的列數。

ValidationFailedOverallCount— 驗證失敗的列數。

ValidationSuspendedOverallCount— 暫停驗證的列數。

ValidationPendingOverallCount— 驗證仍處於擱置狀態的列數。

ValidationBulkQuerySourceLatency— AWS DMS 可以批量進行數據驗證，尤其是在某些情況下，在全負載或正在進行的複製時，當有許多更改時。此指標表示從來源端點讀取一組大量資料所需的延遲。

ValidationBulkQueryTargetLatency— AWS DMS 可以批量進行數據驗證，尤其是在某些情況下，在全負載或正在進行的複製時，當有許多更改時。此指標表示在目標端點上讀取一組大量資料所需的延遲。

ValidationItemQuerySourceLatency— 在正在進行的複製期間，數據驗證可以識別正在進行的更改並驗證這些更改。此指標表示從來源讀取這些變更時的延遲。如果驗證期間發生錯誤，根據變更數量，驗證可能會執行比所需更多的查詢。

ValidationItemQueryTargetLatency-在正在進行的複製期間，數據驗證可以識別正在進行的更改並逐行驗證更改。此指標提供從目標讀取這些變更時的延遲。如果驗證期間發生錯誤，根據變更數量，驗證可能會執行比所需更多的查詢。

確切控制驗證發生時間：驗證查詢會同時為來源和目標端點新增額外負載。因此，先在某項任務中遷移或複寫資料，然後在另一項任務中驗證結果可能會有所幫助。

減少複寫執行個體的負載：將資料驗證拆分為在其自己的執行個體上執行會更有優勢。

快速獲得在給定時間點有多少資料列不相符：例如，在維護時段生產切換到目標端點之前或期間，您可以建立僅完全載入驗證任務來取得問題的答案。

當具有 CDC 元件的遷移任務預期發生驗證失敗時：例如，如果將 Oracle varchar2 遷移至 PostgreSQL jsonb，CDC 驗證會持續重試這些失敗的資料列，並限制每次報告的失敗次數。但是，您可以建立僅完全載入驗證任務，並獲得更快的答案。

您已經開發讀取驗證失敗表的資料修復指令碼/公用程式：(另請參閱故障診斷)。「僅限完全載入驗證」任務可快速報告失敗，資料修復指令碼會根據該失敗採取行動。

查詢量

來源資料表上的 DML 查詢類型

任務延遲

記錄總數

驗證設定，例如 PartitionSize

減少 PartitionSize 和 ThreadCount 設定，以協助減輕完全載入驗證期間的工作負載。請注意，這將會減慢資料驗證速度。

雖然 Redshift 不會強制執行主鍵，但 AWS DMS 依賴主鍵唯一識別目標上的記錄以進行數據驗證。若可行，請將主索引鍵設定為鏡像排序索引鍵，以便加快執行完全載入驗證查詢速度。

資料驗證要求資料表必須有主索引鍵或唯一的索引。

不支援驗證 NULL PK/UK 值。

如果目標 PostgreSQL 執行個體中主索引鍵資料行的定序未設為 "C"，則主索引鍵的排序相較於 Oracle 的排序會有所不同。如果 PostgreSQL 與 Oracle 之間的排序不同，資料驗證將無法驗證記錄。

資料驗證會對來源和目標資料庫產生額外的查詢。您必須確保這兩個資料庫有足夠的資源，可處理此額外的負載。Redshift 目標尤其如此。如需詳細資訊，請參閱下列 Redshift 驗證效能。

將數個資料庫整合成單一資料庫時不支援資料驗證。

對於源或目標甲骨文端點， AWS DMS 使用 DBMS_CRYPTO 來驗證 LOB。若您的 Oracle 端點使用 LOB，您必須將 dbms_crypto 上的執行許可授予用於存取 Oracle 端點的使用者帳戶。您可以執行下列陳述式來執行此作業：

grant execute on sys.dbms_crypto to dms_endpoint_user;

如果在驗證 AWS DMS 期間以外修改目標資料庫，則可能無法準確報告差異。如果您的其中一個應用程式將資料寫入目標資料表，同時在同一個資料表上執行驗證， AWS DMS 就會發生此結果。

如果在驗證期間持續修改一個或多個行，則 AWS DMS 無法驗證這些行。

如果 AWS DMS 偵測到超過 10,000 筆失敗或暫停的記錄，就會停止驗證。請解決資料的任何基本問題，再繼續進行。

AWS DMS 不支持視圖的數據驗證。

AWS DMS 使用字元替換工作設定時，不支援資料驗證。

AWS DMS 不支持驗證甲骨文長類型。

AWS DMS 不支援在異質移轉期間驗證 Oracle 空間類型。