데이터 검증 작업 설정 - AWS 데이터베이스 마이그레이션 서비스

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

데이터 검증 작업 설정

원본에서 대상으로 데이터가 정확히 마이그레이션되었는지 확인할 수 있습니다. 작업에 대한 검증을 활성화하면 테이블에 대해 전체 로드가 수행된 직후에 소스와 대상 데이터를 AWS DMS 비교하기 시작합니다. 작업 데이터 검증, 요구 사항, 데이터베이스 지원 범위, 보고 대상 지표에 관한 자세한 내용은 AWS DMS 데이터 검증 단원을 참조하십시오. 작업 구성 파일을 사용하여 작업 설정을 지정하는 방법에 관한 자세한 내용은 작업 설정 예제을 참조하십시오.

데이터 검증 설정과 그 값에는 다음 사항이 포함됩니다.

  • EnableValidation – true로 설정한 경우 데이터 검증을 활성화합니다. 그렇지 않으면 작업에 대한 검증은 비활성화됩니다. 기본값은 false입니다.

  • ValidationMode— 대상 테이블의 데이터를 원본 테이블과 비교하여 검증하는 방법을 DMS 제어합니다. AWS DMS 향후 확장성을 위해 이 설정을 제공합니다. 현재 유효한 기본값은 ROW_LEVEL 뿐입니다. AWS DMS 소스 테이블과 대상 테이블 사이의 모든 행을 검증합니다.

  • FailureMaxCount – 작업에 대한 검증이 일시 중지되기 전에 검증에 실패할 수 있는 레코드의 최대 수를 지정합니다. 기본값은 10,000입니다. 검증에 실패하는 레코드 수와 상관없이 검증을 계속하려면 이 값을 원본의 레코드 수보다 더 높게 설정합니다.

  • HandleCollationDiff— 이 옵션을 로 설정하면 비교할 소스 및 대상 레코드를 식별할 true 때 검증 시 Postgre 및 SQL Microsoft SQL Server 엔드포인트의 열 데이터 정렬 차이를 고려합니다. 그렇지 않은 경우 열 기준 데이터의 이러한 차이는 검증에서 무시됩니다. 열 기준 데이터 정렬은 데이터 검증에 중요한 행의 순서를 지정할 수 있습니다. HandleCollationDiff를 true로 설정하면 이러한 데이터 정렬 차이가 자동으로 해결되고 데이터 검증에서 거짓 양성이 방지됩니다. 기본값은 false입니다.

  • RecordFailureDelayInMinutes – 검증 실패 세부 정보를 보고하기 전에 지연 시간을 분 단위로 지정합니다.

  • RecordFailureDelayLimitInMinutes – 검증 실패 세부 정보를 보고하기 전에 지연 시간을 지정합니다. 일반적으로 AWS DMS 는 작업 지연 시간을 사용하여 변경 사항이 대상에 이르는 실제 지연 시간을 인식함으로써 거짓 양성을 방지합니다. 이러한 설정을 통해 실제 지연 값이 재정의되고, 검증 지표를 보고하기 전에 지연을 더 높게 설정할 수 있습니다. 기본값은 0입니다.

  • RecordSuspendDelayInMinutes – FailureMaxCount에 설정된 오류 임계값으로 인해 테이블 검증이 일시 중단될 때까지의 지연 시간(분)을 지정합니다.

  • SkipLobColumns— 이 옵션을 로 true 설정하면 작업 AWS DMS 검증의 테이블 부분에 있는 모든 LOB 열에 대한 데이터 검증을 건너뛰습니다. 기본값은 false입니다.

  • TableFailureMaxCount – 테이블에 대한 검증이 일시 중지되기 전에 하나의 테이블에서 검증에 실패할 수 있는 행의 최대 수를 지정합니다. 기본값은 1,000입니다.

  • ThreadCount— 검증 중에 AWS DMS 사용하는 실행 스레드 수를 지정합니다. 각 스레드는 소스와 타겟에서 not-yet-validated 데이터를 선택하여 비교 및 검증합니다. 기본값은 5입니다. 더 큰 수로 설정하면 ThreadCount 검증을 더 빨리 AWS DMS 완료할 수 있습니다. 하지만 AWS DMS 는 동시 쿼리를 더 많이 실행하여 소스 및 대상에서 더 많은 리소스를 사용합니다.

  • ValidationOnly – 이 옵션이 true로 설정되면 작업을 실행하는 경우 데이터 마이그레이션이나 복제를 수행하지 않고 데이터 검증을 미리 봅니다. 기본값은 false입니다. 작업이 생성된 후에는 이 ValidationOnly 설정을 수정할 수 없습니다.

    DO_NOTHING(검증 전용 작업의 기본값) 로 설정하고 마이그레이션 유형을 다음 중 하나로 설정해야 합니다. TargetTablePrepMode

    • 전체 로드 - AWS DMS 콘솔에서 기존 데이터를 마이그레이션하도록 작업 마이그레이션 유형을 설정합니다. 또는 마이그레이션 유형을 FULL -로 AWS DMS API 설정할 수도 LOAD 있습니다.

    • CDC— 작업 마이그레이션 유형을 AWS DMS 콘솔에서만 데이터 변경 내용을 복제하도록 설정합니다. 또는 마이그레이션 유형을 로 AWS DMS API CDC 설정할 수도 있습니다.

    선택한 마이그레이션 유형에 관계없이 검증 전용 작업 중에는 데이터가 실제로 마이그레이션되거나 복제되지 않습니다.

    자세한 내용은 검증 전용 태스크 단원을 참조하십시오.

    중요

    ValidationOnly 설정은 변경할 수 없습니다. 작업이 생성된 후에는 해당 작업에 대해 수정할 수 없습니다.

  • ValidationPartialLobSize— 열에 저장된 모든 데이터를 검증하는 대신 LOB 열에 대한 부분 검증을 수행할지 여부를 지정합니다. 이는 전체 LOB 데이터 세트가 아닌 일부 LOB 데이터만 마이그레이션할 때 유용할 수 있습니다. 값의 단위는 KB입니다. 기본값은 0이며, 이는 모든 LOB 열 데이터의 AWS DMS 유효성을 검사함을 의미합니다. 예를 들어, 소스와 대상 모두에서 열 데이터의 처음 AWS DMS 32KB만 "ValidationPartialLobSize": 32 검증한다는 의미입니다.

  • PartitionSize – 원본과 대상 모두에서 비교하기 위해 읽을 레코드의 배치 크기를 지정합니다. 기본값은 10,000입니다.

  • ValidationQueryCdcDelaySeconds— 각 CDC 업데이트에 대해 원본과 대상 모두에서 첫 번째 유효성 검사 쿼리가 지연되는 시간입니다. 이렇게 하면 마이그레이션 지연 시간이 길어질 때 리소스 경합을 줄이는 데 도움이 될 수 있습니다. 검증 전용 작업에서는 이 옵션이 180초로 자동 설정됩니다. 기본값은 0입니다.

예를 들어, 다음은 기본 스레드 수의 두 배로 데이터 검증을 JSON 가능하게 합니다. 또한 SQL Postgre 엔드포인트의 열 정렬 차이로 인한 레코드 순서 차이도 고려됩니다. 또한 검증 실패를 처리할 추가 시간을 고려하도록 검증 보고 지연을 제공합니다.


"ValidationSettings": {
     "EnableValidation": true,
     "ThreadCount": 10,
     "HandleCollationDiff": true,
     "RecordFailureDelayLimitInMinutes": 30
  }
참고

Oracle 엔드포인트의 경우 _를 AWS DMS 사용하여 DBMS 유효성을 검사합니다. CRYPTO BLOBs Oracle 엔드포인트에서 사용하는 BLOBs 경우 Oracle 엔드포인트에 액세스하는 사용자 계정에 DBMS CRYPTO _에 대한 execute 권한을 부여하십시오. 이 작업을 수행하려면 다음 문을 실행하세요.

grant execute on sys.dbms_crypto to dms_endpoint_user;