Migrieren einer On-Premises-Oracle-Datenbank zu Amazon RDS für Oracle mithilfe des direkten Oracle Data Pump Imports über einen Datenbanklink

Erstellt von Rizwan Wangde (AWS)

Übersicht

Zahlreiche Muster umfassen die Migration von lokalen Oracle-Datenbanken zu Amazon RDS für Oracle mithilfe von Oracle Data Pump, einem nativen Oracle-Dienstprogramm, das die bevorzugte Methode für die Migration großer Oracle-Workloads darstellt. Zu diesen Mustern gehören in der Regel das Exportieren von Anwendungsschemata oder Tabellen in Dumpdateien, das Übertragen der Dumpdateien in ein Datenbankverzeichnis auf Amazon RDS für Oracle und das anschließende Importieren der Anwendungsschemata und Daten aus den Dumpdateien.

Bei diesem Ansatz kann eine Migration je nach Größe der Daten und benötigter Zeit für die Übertragung der Dump-Dateien auf die Amazon-RDS-Instance länger dauern. Darüber hinaus befinden sich die Dump-Dateien auf dem Amazon Elastic Block Store (Amazon EBS)-Volume der Amazon-RDS-Instance, das für die Datenbank und die Dump-Dateien groß genug sein muss. Wenn die Dump-Dateien nach dem Import gelöscht werden, kann der leere Speicherplatz nicht abgerufen werden, sodass Sie weiterhin für ungenutzten Speicherplatz bezahlen.

Dieses Muster behebt diese Probleme, indem es einen direkten Import auf der Amazon-RDS-Instance durchführt, indem die Oracle Data Pump API (DBMS_DATAPUMP) über einen Datenbanklink verwendet wird. Das Muster initiiert eine gleichzeitige Export- und Importpipeline zwischen der Quell- und der Zieldatenbank. Dieses Muster erfordert keine Größenanpassung eines EBS-Volumes für die Dump-Dateien, da keine Dump-Dateien auf dem Volume erstellt oder gespeichert werden. Dieser Ansatz spart die monatlichen Kosten für ungenutzten Speicherplatz.

Voraussetzungen und Einschränkungen

Voraussetzungen

Einschränkungen

Produktversionen

Architektur

Quelltechnologie-Stack

Zieltechnologie-Stack

Zielarchitektur

Das folgende Diagramm zeigt die Architektur für die Migration von einer On-Premises-Oracle-Datenbank zu Amazon RDS für Oracle in einer Single-AZ-Umgebung. Die Pfeilrichtungen zeigen den Datenfluss in der Architektur. Das Diagramm zeigt nicht, welche Komponente die Verbindung initiiert.

Tools

AWS-Services

Andere Tools

Bewährte Methoden

Obwohl AWS Direct Connect dedizierte, private Netzwerkverbindungen zwischen dem On-Premises-Netzwerk und AWS verwendet, sollten Sie die folgenden Optionen für zusätzliche Sicherheit und Datenverschlüsselung für Daten während der Übertragung berücksichtigen:

Sekunden

GRANT CONNECT to <migration_user>;
GRANT DATAPUMP_EXP_FULL_DATABASE to <migration_user>;
GRANT SELECT ANY TABLE to <migration_user>;

SELECT 
     'CREATE TABLESPACE '   tablespace_name    ' DATAFILE SIZE 1G AUTOEXTEND ON MAXSIZE UNLIMITED;' 
     from dba_tablespaces 
     where tablespace_name not in ('SYSTEM', 'SYSAUX','TEMP','UNDOTBS1') 
     order by 1;

CREATE DATABASE LINK link2src
  CONNECT TO <migration_user_account> IDENTIFIED BY <password>
  USING '(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=<dns or ip address of remote db>)
         (PORT=<listener port>))(CONNECT_DATA=(SID=<remote SID>)))';

select * from dual@link2src;

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

SELECT current_scn FROM V$DATABASE;

    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>);

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

Zugehörige Ressourcen

AWS

Oracle-Dokumentation

Zusätzliche Informationen

Code 1: nur Volllastmigration, Einzelanwendungsschema

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

Code 2: nur Volllastmigration, mehrere Anwendungsschemata

DECLARE 
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

Code 3: Volllastmigration vor reine CDC-Aufgabe, Einzelanwendungsschema

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

Code 4: Volllastmigration vor reine CDC-Aufgabe, mehrere Anwendungsschemata

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN (operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE (handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

Szenario, in dem ein gemischter Migrationsansatz besser funktionieren kann

In seltenen Szenarien, in denen die Quelldatenbank Tabellen mit Millionen von Zeilen und sehr großen LOBSEGMENT-Spalten enthält, verlangsamt dieses Muster die Migration. Oracle migriert LOBSEGMENTs nacheinander über die Netzwerkverbindung. Es extrahiert eine einzelne Zeile (zusammen mit den LOB-Spaltendaten) aus der Quelltabelle und fügt die Zeile in die Zieltabelle ein, wobei der Vorgang wiederholt wird, bis alle Zeilen migriert sind. Oracle Data Pump über die Datenbankverbindung unterstützt keine Massenlade- oder Direktpfadlademechanismen für LOBSEGMENTs.

In diesem Fall empfehlen wir Folgendes: