데이터베이스 링크를 통한 직접 Oracle 데이터 펌프 가져오기를 사용하여 온프레미스 Oracle 데이터베이스를 Amazon RDS for Oracle로 마이그레이션

작성자: Rizwan Wangde(AWS)

요약

대규모 Oracle 워크로드를 마이그레이션하는 데 선호되는 방법인 네이티브 Oracle 유틸리티인 Oracle Data Pump를 사용하여 온프레미스 Oracle 데이터베이스를 Amazon RDS for Oracle로 마이그레이션하는 방법은 다양합니다. 이러한 패턴에는 일반적으로 애플리케이션 스키마 또는 테이블을 덤프 파일로 내보내고, 덤프 파일을 Amazon RDS for Oracle의 데이터베이스 디렉터리로 전송한 다음, 덤프 파일에서 애플리케이션 스키마와 데이터를 가져오는 작업이 포함됩니다.

이 접근 방식을 사용하면 데이터 크기와 Amazon RDS 인스턴스로 덤프 파일을 전송하는 데 걸리는 시간에 따라 마이그레이션 시간이 더 오래 걸릴 수 있습니다. 또한 덤프 파일은 Amazon RDS 인스턴스의 Amazon Elastic Block Store(Amazon EBS) 볼륨에 있으며, 이 볼륨은 데이터베이스와 덤프 파일을 저장할 수 있을 만큼 충분히 커야 합니다. 가져온 후 덤프 파일을 삭제하면 빈 스페이스를 검색할 수 없으므로 사용하지 않은 스페이스에 대한 비용을 계속 지불해야 합니다.

이 패턴은 데이터베이스 링크를 통해 Oracle Data Pump API(DBMS_DATAPUMP)를 사용하여 Amazon RDS 인스턴스에서 직접 가져오기를 수행함으로써 이러한 문제를 완화합니다. 이 패턴은 소스 데이터베이스와 대상 데이터베이스 간의 동시 내보내기 및 가져오기 파이프라인을 시작합니다. 이 패턴은 덤프 파일이 생성되거나 볼륨에 저장되지 않으므로 덤프 파일의 EBS 볼륨 크기를 조정할 필요가 없습니다. 이 방법을 사용하면 사용하지 않는 디스크 스페이스의 월별 비용을 절약할 수 있습니다.

사전 조건 및 제한 사항

사전 조건

제한 사항

제품 버전

아키텍처

소스 기술 스택  

대상 기술 스택  

대상 아키텍처 

다음 다이어그램은 단일 AZ 환경에서 온프레미스 Oracle 데이터베이스에서 Amazon RDS for Oracle로 마이그레이션하기 위한 아키텍처를 보여줍니다. 화살표 방향은 아키텍처의 데이터 흐름을 나타냅니다. 다이어그램에는 연결을 시작하는 구성 요소가 표시되지 않습니다.

도구

서비스

기타 도구

모범 사례

AWS Direct Connect는 온프레미스 네트워크와 AWS 간에 전용 프라이빗 네트워크 연결을 사용하지만, 전송 중인 데이터에 대한 추가 보안 및 데이터 암호화를 위해 다음 옵션을 고려해 보십시오.

에픽

GRANT CONNECT to <migration_user>;
GRANT DATAPUMP_EXP_FULL_DATABASE to <migration_user>;
GRANT SELECT ANY TABLE to <migration_user>;

SELECT 
     'CREATE TABLESPACE '   tablespace_name    ' DATAFILE SIZE 1G AUTOEXTEND ON MAXSIZE UNLIMITED;' 
     from dba_tablespaces 
     where tablespace_name not in ('SYSTEM', 'SYSAUX','TEMP','UNDOTBS1') 
     order by 1;

CREATE DATABASE LINK link2src
  CONNECT TO <migration_user_account> IDENTIFIED BY <password>
  USING '(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=<dns or ip address of remote db>)
         (PORT=<listener port>))(CONNECT_DATA=(SID=<remote SID>)))';

select * from dual@link2src;

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

SELECT current_scn FROM V$DATABASE;

    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>);

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

관련 리소스

AWS

오라클 설명서

추가 정보

코드 1: 전체 로드 마이그레이션 전용, 단일 애플리케이션 스키마

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

코드 2: 전체 로드 마이그레이션 전용, 다중 애플리케이션 스키마

DECLARE 
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

코드 3: CDC 전용 작업 이전의 전체 로드 마이그레이션, 단일 애플리케이션 스키마

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

코드 4: CDC 전용 작업 이전의 전체 로드 마이그레이션, 다중 애플리케이션 스키마

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN (operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE (handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

혼합 마이그레이션 접근 방식이 더 효과적일 수 있는 시나리오

드문 경우지만 소스 데이터베이스에 수백만 개의 행과 매우 큰 LOBSEGMEGMENT 열로 구성된 테이블이 포함되어 있는 경우 이 패턴으로 인해 마이그레이션 속도가 느려질 수 있습니다. Oracle은 네트워크 링크를 통해 LOBSegment를 한 번에 하나씩 마이그레이션합니다. 소스 테이블에서 단일 행(LOB 열 데이터 포함)을 추출하여 대상 테이블에 행을 삽입하고 모든 행이 마이그레이션될 때까지 프로세스를 반복합니다. 데이터베이스 링크를 통한 Oracle Data Pump는 LOBSegment에 대한 대량 로드나 직접 경로 로드 메커니즘을 지원하지 않습니다.

이 상황에서는 다음을 권장합니다.