使用通过数据库链接直接导入 Oracle Data Pump 将本地 Oracle 数据库迁移到 Amazon RDS for Oracle

由 Rizwan Wangde (AWS) 编写

Summary

许多模式包括使用 Oracle Data Pump 将本地 Oracle 数据库迁移至 Amazon RDS for Oracle，Oracle Data Pump 是一种原生 Oracle 实用程序，是迁移大型 Oracle 工作负载的首选方式。这些模式通常涉及将应用程序架构或表导出到转储文件中，将转储文件传输到 Amazon RDS for Oracle 上的数据库目录，然后从转储文件中导入应用程序架构和数据。

使用这种方法，迁移可能需要更长时间，具体取决于数据的大小以及将转储文件传输到 Amazon RDS 实例所需的时间。此外，转储文件存储在 Amazon RDS 实例的 Amazon Elastic Block Store (Amazon EBS) 卷，该卷必须足够大，可以存放数据库和转储文件。导入后删除转储文件后，空余空间将无法恢复，因此您需要继续为未使用的空间付费。

这种模式通过数据库链接使用 Oracle Data Pump API (DBMS_DATAPUMP) 在 Amazon RDS 实例执行直接导入，从而缓解了这些问题。该模式在源数据库和目标数据库之间启动同步导出和导入管道。这种模式不需要为转储文件调整 EBS 卷大小，因为该卷上不会创建或存储任何转储文件。这种方法可以节省 每月未使用磁盘空间的成本。

先决条件和限制

先决条件

限制

产品版本

架构

源技术堆栈

目标技术堆栈

目标架构

下图显示了在单可用区环境中从本地 Oracle 数据库迁移至Amazon RDS for Oracle 的架构。箭头方向描绘了架构数据流。该图没有显示哪个组件正在启动连接。

工具

Amazon Web Services

其他工具

最佳实践

尽管 AWS Direct Connect 在本地网络和 AWS 之间使用专用的私有网络连接，但要为传输中的数据提供额外的安全性和数据加密，请考虑使用以下选项：

操作说明

GRANT CONNECT to <migration_user>;
GRANT DATAPUMP_EXP_FULL_DATABASE to <migration_user>;
GRANT SELECT ANY TABLE to <migration_user>;

SELECT 
     'CREATE TABLESPACE '   tablespace_name    ' DATAFILE SIZE 1G AUTOEXTEND ON MAXSIZE UNLIMITED;' 
     from dba_tablespaces 
     where tablespace_name not in ('SYSTEM', 'SYSAUX','TEMP','UNDOTBS1') 
     order by 1;

CREATE DATABASE LINK link2src
  CONNECT TO <migration_user_account> IDENTIFIED BY <password>
  USING '(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=<dns or ip address of remote db>)
         (PORT=<listener port>))(CONNECT_DATA=(SID=<remote SID>)))';

select * from dual@link2src;

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

SELECT current_scn FROM V$DATABASE;

    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>);

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

相关的资源

AWS

Oracle 文档

其他信息

代码 1：仅限满载迁移，单应用程序架构

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

代码 2：仅限满载迁移，多应用程序架构

DECLARE 
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

代码 3：仅限 CDC 的任务之前的满载迁移，单应用程序架构

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

代码 4：仅限 CDC 任务之前的满载迁移，多应用程序架构

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN (operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE (handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

混合迁移方法可更好地发挥作用的场景

在极少数情况下，源数据库包含具有数百万行和非常大的 LOBSEGMENT 列的表，此模式会减慢迁移速度。Oracle 通过网络链路逐一迁移 LOBSegments。它从源表中提取单行 (以及 LOB 列数据)，然后将该行插入目标表，重复该过程，直到所有行都迁移完毕。通过数据库链接进行的 Oracle Data Pump 不支持 LOBSegments 批量加载或直接路径加载机制。

在这种情况下，我们建议采取以下：