Migrieren Sie eine lokale Oracle-Datenbank zu Amazon RDS for Oracle, indem Sie den direkten Oracle Data Pump-Import über einen Datenbank-Link verwenden

Erstellt von Rizwan Wangde () AWS

Übersicht

Zahlreiche Muster behandeln die Migration von lokalen Oracle-Datenbanken zu Amazon RDS for Oracle mithilfe von Oracle Data Pump, einem systemeigenen Oracle-Hilfsprogramm, das die bevorzugte Methode zur Migration großer Oracle-Workloads darstellt. Diese Muster beinhalten in der Regel das Exportieren von Anwendungsschemas oder Tabellen in Dump-Dateien, das Übertragen der Dump-Dateien in ein Datenbankverzeichnis auf Amazon RDS for Oracle und das anschließende Importieren der Anwendungsschemas und Daten aus den Dumpdateien.

Bei diesem Ansatz kann eine Migration länger dauern, abhängig von der Größe der Daten und der Zeit, die für die Übertragung der Dumpdateien auf die RDS Amazon-Instance benötigt wird. Darüber hinaus befinden sich die Dumpdateien auf dem Amazon Elastic Block Store (AmazonEBS) -Volume der RDS Amazon-Instance, das groß genug für die Datenbank und die Dumpdateien sein muss. Wenn die Dump-Dateien nach dem Import gelöscht werden, kann der leere Speicherplatz nicht abgerufen werden. Sie zahlen also weiterhin für ungenutzten Speicherplatz.

Dieses Muster mildert diese Probleme, indem ein direkter Import in die RDS Amazon-Instance mithilfe der Oracle Data Pump API (DBMS_DATAPUMP) über einen Datenbank-Link durchgeführt wird. Das Muster initiiert eine gleichzeitige Export- und Import-Pipeline zwischen der Quell- und der Zieldatenbank. Bei diesem Muster ist es nicht erforderlich, die Größe eines EBS Volumes für die Dumpdateien festzulegen, da auf dem Volume keine Dumpdateien erstellt oder gespeichert werden. Durch diesen Ansatz werden die monatlichen Kosten für ungenutzten Festplattenspeicher eingespart.

Voraussetzungen und Einschränkungen

Voraussetzungen

Einschränkungen

Produktversionen

Architektur

Quelltechnologie-Stack

Zieltechnologie-Stack

Zielarchitektur

Das folgende Diagramm zeigt die Architektur für die Migration von einer lokalen Oracle-Datenbank zu Amazon RDS for Oracle in einer Single-AZ-Umgebung. Die Pfeilrichtungen stellen den Datenfluss in der Architektur dar. Das Diagramm zeigt nicht, welche Komponente die Verbindung initiiert.

Tools

AWSDienstleistungen

Andere Tools

Bewährte Methoden

AWSDirect Connect verwendet zwar dedizierte, private Netzwerkverbindungen zwischen dem lokalen Netzwerk undAWS, aber ziehen Sie die folgenden Optionen für zusätzliche Sicherheit und Datenverschlüsselung für Daten bei der Übertragung in Betracht:

Epen

GRANT CONNECT to <migration_user>;
GRANT DATAPUMP_EXP_FULL_DATABASE to <migration_user>;
GRANT SELECT ANY TABLE to <migration_user>;

SELECT 
     'CREATE TABLESPACE '   tablespace_name    ' DATAFILE SIZE 1G AUTOEXTEND ON MAXSIZE UNLIMITED;' 
     from dba_tablespaces 
     where tablespace_name not in ('SYSTEM', 'SYSAUX','TEMP','UNDOTBS1') 
     order by 1;

CREATE DATABASE LINK link2src
  CONNECT TO <migration_user_account> IDENTIFIED BY <password>
  USING '(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=<dns or ip address of remote db>)
         (PORT=<listener port>))(CONNECT_DATA=(SID=<remote SID>)))';

select * from dual@link2src;

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

SELECT current_scn FROM V$DATABASE;

    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>);

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

Zugehörige Ressourcen

AWS

Oracle-Dokumentation

Zusätzliche Informationen

Code 1: Nur Volllastmigration, einzelnes Anwendungsschema

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

Code 2: Nur Volllastmigration, mehrere Anwendungsschemas

DECLARE 
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

Code 3: Volllastmigration vor einer CDC reinen Aufgabe, einzelnes Anwendungsschema

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

Code 4: Volllastmigration vor einer CDC reinen Aufgabe, mehrere Anwendungsschemas

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN (operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE (handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

Szenario, in dem ein gemischter Migrationsansatz besser funktionieren kann

In seltenen Szenarien, in denen die Quelldatenbank Tabellen mit Millionen von Zeilen und sehr großen LOBSEGMENT Spalten enthält, verlangsamt dieses Muster die Migration. Oracle migriert nacheinander LOBSEGMENTs über die Netzwerkverbindung. Es extrahiert eine einzelne Zeile (zusammen mit den LOB Spaltendaten) aus der Quelltabelle und fügt die Zeile in die Zieltabelle ein. Dabei wird der Vorgang wiederholt, bis alle Zeilen migriert sind. Oracle Data Pump über den Datenbank-Link unterstützt keine Massenlademechanismen oder direkte Pfadlademechanismen fürLOBSEGMENTs.

In dieser Situation empfehlen wir Folgendes: