Esegui la migrazione di un database Oracle locale ad Amazon RDS for Oracle utilizzando l'importazione diretta di Oracle Data Pump tramite un collegamento al database

Creato da Rizwan Wangde (AWS)

Riepilogo

Numerosi modelli riguardano la migrazione di database Oracle locali ad Amazon RDS for Oracle utilizzando Oracle Data Pump, un'utilità Oracle nativa che rappresenta il modo preferito per migrare carichi di lavoro Oracle di grandi dimensioni. Questi modelli prevedono in genere l'esportazione di schemi o tabelle di applicazioni in file di dump, il trasferimento dei file di dump in una directory di database su Amazon RDS for Oracle e quindi l'importazione degli schemi applicativi e dei dati dai file di dump.

Utilizzando questo approccio, una migrazione può richiedere più tempo a seconda della dimensione dei dati e del tempo necessario per trasferire i file di dump sull'istanza Amazon RDS. Inoltre, i file di dump risiedono nel volume Amazon Elastic Block Store (Amazon EBS) dell'istanza Amazon RDS, che deve essere sufficientemente grande per il database e i file di dump. Quando i file di dump vengono eliminati dopo l'importazione, lo spazio vuoto non può essere recuperato, quindi continui a pagare per lo spazio inutilizzato.

Questo modello mitiga questi problemi eseguendo un'importazione diretta sull'istanza Amazon RDS utilizzando l'API Oracle Data Pump (DBMS_DATAPUMP) su un collegamento al database. Il pattern avvia una pipeline di esportazione e importazione simultanea tra i database di origine e di destinazione. Questo modello non richiede il dimensionamento di un volume EBS per i file di dump perché nessun file di dump viene creato o memorizzato nel volume. Questo approccio consente di risparmiare il costo mensile dello spazio su disco inutilizzato.

Prerequisiti e limitazioni

Prerequisiti

Limitazioni

Versioni del prodotto

Architettura

Stack tecnologico di origine

Stack tecnologico Target

Architettura di destinazione

Il diagramma seguente mostra l'architettura per la migrazione da un database Oracle locale ad Amazon RDS for Oracle in un ambiente Single-AZ. Le direzioni delle frecce illustrano il flusso di dati nell'architettura. Il diagramma non mostra quale componente sta avviando la connessione.

Strumenti

Servizi AWS

Altri strumenti

Best practice

Sebbene AWS Direct Connect utilizzi connessioni di rete private dedicate tra la rete locale e AWS, considera le seguenti opzioni per una maggiore sicurezza e crittografia dei dati per i dati in transito:

Epiche

GRANT CONNECT to <migration_user>;
GRANT DATAPUMP_EXP_FULL_DATABASE to <migration_user>;
GRANT SELECT ANY TABLE to <migration_user>;

SELECT 
     'CREATE TABLESPACE '   tablespace_name    ' DATAFILE SIZE 1G AUTOEXTEND ON MAXSIZE UNLIMITED;' 
     from dba_tablespaces 
     where tablespace_name not in ('SYSTEM', 'SYSAUX','TEMP','UNDOTBS1') 
     order by 1;

CREATE DATABASE LINK link2src
  CONNECT TO <migration_user_account> IDENTIFIED BY <password>
  USING '(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=<dns or ip address of remote db>)
         (PORT=<listener port>))(CONNECT_DATA=(SID=<remote SID>)))';

select * from dual@link2src;

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

SELECT current_scn FROM V$DATABASE;

    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>);

DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);

EXECUTE DBMS_STATS.GATHER_SCHEMA_STATS(ownname => '<schema_name>');

Risorse correlate

AWS

documentazione Oracle

Informazioni aggiuntive

Codice 1: solo migrazione a pieno carico, schema di applicazione singolo

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

Codice 2: solo migrazione a pieno carico, schemi di applicazioni multiple

DECLARE 
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

Codice 3: migrazione a pieno carico prima dell'operazione solo CDC, schema a singola applicazione

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN(operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE( handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER(v_hdnl,'SCHEMA_EXPR','IN (''<schema_name>'')');  -- To migrate one selected schema
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/

Codice 4: migrazione a pieno carico prima dell'operazione solo CDC, schemi applicativi multipli

DECLARE  
    v_hdnl NUMBER;
BEGIN  
    v_hdnl := DBMS_DATAPUMP.OPEN (operation => 'IMPORT', job_mode  => 'SCHEMA', remote_link => '<DB LINK Name to Source Database>', job_name  => null);  
    DBMS_DATAPUMP.ADD_FILE (handle => v_hdnl, filename  => 'import_01.log',  directory => 'DATA_PUMP_DIR', filetype  => dbms_datapump.ku$_file_type_log_file);  
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'SCHEMA_LIST', '''<SCHEMA_1>'',''<SCHEMA_2>'', ''<SCHEMA_3>'''); -- To migrate multiple schemas
    DBMS_DATAPUMP.METADATA_FILTER (v_hdnl, 'EXCLUDE_PATH_EXPR','IN (''STATISTICS'')'); -- To prevent gathering Statistics during the import
    DBMS_DATAPUMP.SET_PARAMETER (handle => v_hdnl, name => 'FLASHBACK_SCN', value => <CURRENT_SCN_VALUE_IN_SOURCE_DATABASE>); -- SCN required for AWS DMS CDC only task.
    DBMS_DATAPUMP.SET_PARALLEL (handle => v_hdnl, degree => 4);  -- Number of parallel processes performing export and import
    DBMS_DATAPUMP.START_JOB(v_hdnl);
END;
/ 

Scenario in cui un approccio misto alla migrazione può funzionare meglio

In rari scenari in cui il database di origine contiene tabelle con milioni di righe e colonne LOBSEGMENT di dimensioni molto grandi, questo modello rallenterà la migrazione. Oracle migra LOBSegments tramite il collegamento di rete uno alla volta. Estrae una singola riga (insieme ai dati della colonna LOB) dalla tabella di origine e inserisce la riga nella tabella di destinazione, ripetendo il processo fino alla migrazione di tutte le righe. Oracle Data Pump tramite il collegamento al database non supporta i meccanismi di caricamento in blocco o tramite percorso diretto per LOBSegments.

In questa situazione, consigliamo quanto segue: