AWS DMS 데이터 검증

Oracle

PostgreSQL 호환 데이터베이스(PostgreSQL, Aurora PostgreSQL 또는 Aurora Serverless for PostgreSQL)

MySQL 호환 데이터베이스(MySQL, MariaDB, Aurora MySQL 또는 Aurora Serverless for MySQL)

Microsoft SQL Server

IBM Db2 LUW

Oracle

PostgreSQL 호환 데이터베이스(PostgreSQL, Aurora PostgreSQL 또는 Aurora Serverless for PostgreSQL)

MySQL 호환 데이터베이스(MySQL, MariaDB, Aurora MySQL 또는 Aurora Serverless for MySQL)

Microsoft SQL Server

IBM Db2 LUW

Amazon Redshift

Amazon S3. Amazon S3 대상 데이터 유효성 검사에 대한 자세한 내용은 Amazon S3 대상 데이터 검증 단원을 참조하세요.

ValidationState—테이블의 검증 상태. 이 파라미터의 값은 다음과 같습니다.

ValidationPending—타겟으로 마이그레이션되었지만 아직 검증되지 않은 레코드 수

ValidationSuspended—비교할 수 없는 레코드 수. AWS DMS 예를 들어 원본의 레코드가 계속 업데이트되는 경우 원본과 대상을 비교할 AWS DMS 수 없습니다.

ValidationFailed—데이터 검증 단계를 통과하지 못한 레코드 수.

콘솔에서 작업을 생성하거나 수정할 때 작업을 검증하도록 선택할 수 있습니다. 콘솔을 사용하여 데이터 검증 보고서를 보려면 [Tasks] 페이지에서 작업을 선택하고 세부 정보 섹션에서 [Table statistics] 탭을 선택합니다.

데이터 검증을 시작하도록 작업을 생성하거나 수정하려는 경우 CLI를 사용하여 EnableValidation 파라미터를 true로 설정합니다. 다음 예제에서는 작업을 생성하고 데이터 검증을 활성화합니다.

create-replication-task  
  --replication-task-settings '{"ValidationSettings":{"EnableValidation":true}}' 
  --replication-instance-arn arn:aws:dms:us-east-1:5731014:
     rep:36KWVMB7Q  
  --source-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CSZAEFQURFYMM  
  --target-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CGPP7MF6WT4JQ 
  --migration-type full-load-and-cdc 
  --table-mappings '{"rules": [{"rule-type": "selection", "rule-id": "1", 
     "rule-name": "1", "object-locator": {"schema-name": "data_types", "table-name": "%"}, 
     "rule-action": "include"}]}'

describe-table-statistics 명령을 사용하여 JSON 형식의 데이터 검증 보고서를 받습니다. 다음 명령은 데이터 검증 보고서를 표시합니다.

aws dms  describe-table-statistics --replication-task-arn arn:aws:dms:us-east-1:5731014:
rep:36KWVMB7Q

이 보고서는 다음과 비슷합니다.

{
    "ReplicationTaskArn": "arn:aws:dms:us-west-2:5731014:task:VFPFTYKK2RYSI", 
    "TableStatistics": [
        {
            "ValidationPendingRecords": 2, 
            "Inserts": 25, 
            "ValidationState": "Pending records", 
            "ValidationSuspendedRecords": 0, 
            "LastUpdateTime": 1510181065.349, 
            "FullLoadErrorRows": 0, 
            "FullLoadCondtnlChkFailedRows": 0, 
            "Ddls": 0, 
            "TableName": "t_binary", 
            "ValidationFailedRecords": 0, 
            "Updates": 0, 
            "FullLoadRows": 10, 
            "TableState": "Table completed", 
            "SchemaName": "d_types_s_sqlserver", 
            "Deletes": 0
        }
}

AWS DMS API를 사용하여 작업을 사용하여 작업을 생성하고 EnableValidation 파라미터를 true로 설정하여 작업에서 마이그레이션한 데이터를 검증합니다. CreateReplicationTask DescribeTableStatistics작업을 사용하면 JSON 형식의 데이터 검증 보고서를 받을 수 있습니다.

ValidationSucceededRecordCount— AWS DMS 검증된 행 수 (분당).

ValidationAttemptedRecordCount— 유효성 검사를 시도한 행 수 (분당)

ValidationFailedOverallCount— 검증이 실패한 행 수

ValidationSuspendedOverallCount— 검증이 일시 중단된 행 수입니다.

ValidationPendingOverallCount— 검증이 아직 보류 중인 행 수입니다.

ValidationBulkQuerySourceLatency— 특히 전체 로드 또는 진행 중인 복제 중에 변경 사항이 많은 특정 시나리오에서 대량으로 데이터 검증을 수행할 AWS DMS 수 있습니다. 이 지표는 소스 엔드포인트 대량의 데이터 세트를 읽는 데 필요한 지연 시간을 나타냅니다.

ValidationBulkQueryTargetLatency— 특히 전체 로드 또는 진행 중인 복제 중에 변경 사항이 많은 특정 시나리오에서 대량으로 데이터 검증을 수행할 AWS DMS 수 있습니다. 이 지표는 대상 엔드포인트의 대량의 데이터 세트를 읽는 데 필요한 지연 시간을 나타냅니다.

ValidationItemQuerySourceLatency— 지속적인 복제 중에 데이터 검증을 통해 진행 중인 변경 사항을 식별하고 해당 변경 사항을 검증할 수 있습니다. 이 지표는 소스에서 이런 변경을 읽는 데 필요한 지연 시간을 나타냅니다. 검증은 변경의 수를 근거로, 검증 동안 오류가 있을 시 필요한 것보다 더 많은 쿼리를 실행할 수 있습니다.

ValidationItemQueryTargetLatency— 지속적인 복제 중에 데이터 검증을 통해 진행 중인 변경 사항을 식별하고 변경 사항을 행별로 검증할 수 있습니다. 이 지표는 대상에서 이런 변경을 읽는 데 필요한 지연 시간을 제공합니다. 검증은 변경의 수를 근거로, 검증 동안 오류가 있을 시 필요한 것보다 더 많은 쿼리를 실행할 수도 있습니다.

검증이 수행되는 시기를 정확하게 제어 - 검증 쿼리는 소스 및 대상 엔드포인트 양쪽 모두에 추가적인 부하를 가중시킵니다. 따라서 먼저 한 태스크에서 데이터를 마이그레이션 또는 복제한 다음, 다른 태스크에서 결과를 검증하는 편이 유리할 수 있습니다.

복제 인스턴스의 부하 감소 - 데이터 검증을 분할하여 자체 인스턴스에서 실행하는 편이 유리할 수 있습니다.

특정 시점에 일치하지 않는 행의 수를 신속하게 파악 - 예를 들어, 유지 관리 기간 직전에 또는 도중에 프로덕션이 대상 엔드포인트로 전환될 경우 전체 로드 검증 전용 태스크를 생성하여 질문에 대한 답을 얻을 수 있습니다.

CDC 구성 요소를 사용한 마이그레이션 태스크에서 검증 실패가 예상될 경우 - 예를 들어, Oracle varchar2를 PostgreSQL jsonb으로 마이그레이션할 경우 CDC 검증은 이러한 실패한 행을 계속 재시도하고 매번 보고되는 실패 횟수를 제한합니다. 하지만 전체 로드 검증 전용 태스크를 생성하면 더 빠른 답을 얻을 수 있습니다.

검증 실패 테이블을 읽는 데이터 복구 스크립트/유틸리티를 개발한 경우 - (문제 해결도 참조하세요). 전체 로드 검증 태스크는 데이터 복구 스크립트가 조치를 취해야 할 오류를 신속하게 보고합니다.

쿼리 볼륨

소스 테이블의 DML 쿼리 유형

작업 지연 시간

총 레코드 수

PartitionSize 등의 검증 설정

PartitionSize 및 ThreadCount 설정을 줄이면 전체 로드 검증 중에 워크로드를 줄이는 데 도움이 됩니다. 이렇게 하면 데이터 검증 속도가 느려진다는 점에 유의하세요.

Redshift는 기본 키를 적용하지 않지만 데이터 AWS DMS 검증을 위해 기본 키를 사용하여 대상의 레코드를 고유하게 식별합니다. 전체 로드 검증 쿼리가 더 빠르게 실행되기 위해 가능하면 프라이머리 키가 정렬 키를 미러링하도록 설정합니다.

데이터를 검증하려면 테이블에 기본 키나 고유한 인덱스가 있어야 합니다.

NULL PK/UK 값의 검증은 지원되지 않습니다.

대상 PostgreSQL 인스턴스의 기본 키 열의 콜레이션이 "C"로 설정되어 있지 않으면 기본 키의 정렬 순서가 Oracle의 정렬 순서와 달라집니다. PostgreSQL과 Oracle의 정렬 순서가 다르면 데이터 검증을 통해 레코드를 검증할 수 없습니다.

데이터 검증을 수행하면 원본 및 대상 데이터베이스에 대해 추가 쿼리가 생성됩니다. 두 데이터베이스에 이 추가 로드를 처리할 수 있을 만큼 충분한 리소스가 확보되었는지 확인해야 합니다. Redshift 대상의 경우 특히 그렇습니다. 자세한 내용은 Redshift 검증 성능 단원을 참조하십시오.

여러 데이터베이스를 하나로 통합할 때는 데이터 검증이 지원되지 않습니다.

소스 또는 대상 Oracle 엔드포인트의 경우 DBMS_CRYPTO 를 AWS DMS 사용하여 LOB의 유효성을 검사합니다. Oracle 엔드포인트에 LOB가 사용되는 경우 Oracle 엔드포인트에 액세스하는 데 사용되는 사용자 계정에 dbms_crypto에 대한 실행 권한을 부여해야 합니다. 다음 명령문을 실행하여 이 권한을 호출할 수 있습니다.

grant execute on sys.dbms_crypto to dms_endpoint_user;

대상 데이터베이스가 검증 AWS DMS 기간 외에 수정되는 경우 불일치가 정확하게 보고되지 않을 수 있습니다. 이 결과는 동일한 테이블에서 검증을 수행하는 동안 AWS DMS 응용 프로그램 중 하나가 대상 테이블에 데이터를 쓰는 경우 발생할 수 있습니다.

검증 중에 하나 이상의 행이 계속 수정되는 경우 해당 행의 유효성을 AWS DMS 검사할 수 없습니다.

실패하거나 일시 중단된 레코드를 10,000개 이상 AWS DMS 탐지하면 검증이 중지됩니다. 계속 진행하기 전에 데이터에 잠재된 문제를 해결하십시오.

AWS DMS 뷰의 데이터 유효성 검사를 지원하지 않습니다.

AWS DMS 문자 대체 작업 설정을 사용하는 경우 데이터 유효성 검사를 지원하지 않습니다.

AWS DMS Oracle LONG 유형 검증을 지원하지 않습니다.

AWS DMS 이기종 마이그레이션 중에는 Oracle Spatial 유형의 검증을 지원하지 않습니다.