Migrazione dei dati da un data warehouse locale ad Amazon Redshift - AWS Schema Conversion Tool

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Migrazione dei dati da un data warehouse locale ad Amazon Redshift

Puoi utilizzare un AWS SCT agente per estrarre dati dal tuo data warehouse locale e migrarli su Amazon Redshift. L'agente estrae i dati e li carica su Amazon S3 o, per le migrazioni su larga scala, su un dispositivo Edge. AWS Snowball Puoi quindi utilizzare un AWS SCT agente per copiare i dati su Amazon Redshift.

In alternativa, puoi utilizzare AWS Database Migration Service (AWS DMS) per migrare i dati su Amazon Redshift. Il vantaggio di AWS DMS è il supporto della replica continua (acquisizione dei dati di modifica). Tuttavia, per aumentare la velocità di migrazione dei dati, utilizza diversi AWS SCT agenti in parallelo. Secondo i nostri test, AWS SCT gli agenti migrano i dati più velocemente del AWS DMS 15-35 percento. La differenza di velocità è dovuta alla compressione dei dati, al supporto della migrazione delle partizioni di tabella in parallelo e alle diverse impostazioni di configurazione. Per ulteriori informazioni, consultare Utilizzo di un database Amazon Redshift come destinazione per AWS Database Migration Service.

Amazon S3 è un servizio di storage e di recupero. Per archiviare un oggetto in Amazon S3, è necessario caricare il file da archiviare in un bucket Amazon S3. Durante il caricamento di un file, puoi impostare le autorizzazioni per l'oggetto e anche per eventuali metadata.

Migrazioni su larga scala

Le migrazioni di dati su larga scala possono includere molti terabyte di informazioni e possono essere rallentate dalle prestazioni della rete e dall'enorme quantità di dati da spostare. AWS Snowball Edge è un AWS servizio che puoi utilizzare per trasferire dati sul cloud a velocità elevate utilizzando un'appliance di proprietà. faster-than-network AWS Un dispositivo AWS Snowball Edge può contenere fino a 100 TB di dati. Utilizza una crittografia a 256 bit e un Trusted Platform Module (TPM) standard di settore per garantire la sicurezza e la completezza dei dati. chain-of-custody AWS SCT AWS Snowball funziona con dispositivi Edge.

Quando utilizzi AWS SCT un dispositivo AWS Snowball Edge, esegui la migrazione dei dati in due fasi. Innanzitutto, è necessario AWS SCT elaborare i dati localmente e quindi spostarli AWS Snowball sul dispositivo Edge. Quindi invii il dispositivo a AWS utilizzare il processo AWS Snowball Edge e quindi carichi AWS automaticamente i dati in un bucket Amazon S3. Successivamente, quando i dati sono disponibili su Amazon S3, li usi AWS SCT per migrare i dati su Amazon Redshift. Gli agenti di estrazione dei dati possono lavorare in background mentre AWS SCT sono chiusi.

Il seguente diagramma mostra lo scenario supportato.

Architettura dell'agente di estrazione

Gli agenti di estrazione dei dati sono attualmente supportati per i seguenti data warehouse di origine:

  • Azure Synapse Analytics

  • BigQuery

  • Database Greenplum (versione 4.3)

  • Microsoft SQL Server (versione 2008 e successive)

  • Netezza (versione 7.0.3 e successive)

  • Oracle (versione 10 e successive)

  • Snowflake (versione 3)

  • Teradata (versione 13 e successive)

  • Vertica (versione 7.2.2 e successive)

Puoi connetterti agli endpoint FIPS per Amazon Redshift se devi rispettare i requisiti di sicurezza del Federal Information Processing Standard (FIPS). Gli endpoint FIPS sono disponibili nelle seguenti regioni: AWS

  • Regione Stati Uniti orientali (Virginia settentrionale) (redshift-fips.us-east-1.amazonaws.com)

  • Regione Stati Uniti orientali (Ohio) (redshift-fips.us-east-2.amazonaws.com)

  • Regione Stati Uniti occidentali (California settentrionale) (redshift-fips.us-west-1.amazonaws.com)

  • Regione Stati Uniti occidentali (Oregon) (redshift-fips.us-west-2.amazonaws.com)

Utilizza le informazioni nei seguenti argomenti per scoprire come lavorare con gli agenti di estrazione dei dati.

Prerequisiti per l'utilizzo degli agenti di estrazione dei dati

Prima di lavorare con agenti di estrazione dati, aggiungi le autorizzazioni necessarie per Amazon Redshift come destinazione al tuo utente Amazon Redshift. Per ulteriori informazioni, consulta Autorizzazioni per Amazon Redshift come obiettivo.

Quindi, archivia le informazioni sul bucket Amazon S3 e configura l'archivio di fiducia e chiavi Secure Sockets Layer (SSL).

Impostazioni Amazon S3

Dopo che i tuoi agenti hanno estratto i tuoi dati, li caricano nel tuo bucket Amazon S3. Prima di continuare, devi fornire le credenziali per connetterti al tuo AWS account e al tuo bucket Amazon S3. Memorizzi le credenziali e le informazioni sul bucket in un profilo nelle impostazioni globali dell'applicazione, quindi associ il profilo al tuo progetto. AWS SCT Se necessario, scegliete Impostazioni globali per creare un nuovo profilo. Per ulteriori informazioni, consulta Archiviazione dei profiliAWS di servizio inAWS SCT.

Per migrare i dati nel database Amazon Redshift di destinazione, AWS SCT l'agente di estrazione dei dati necessita dell'autorizzazione per accedere al bucket Amazon S3 per tuo conto. Per fornire questa autorizzazione, crea un utente AWS Identity and Access Management (IAM) con la seguente politica.

{ "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:PutObject", "s3:DeleteObject", "s3:GetObject", "s3:GetObjectTagging", "s3:PutObjectTagging" ], "Resource": [ "arn:aws:s3:::bucket_name/*", "arn:aws:s3:::bucket_name" ], "Effect": "Allow" }, { "Action": [ "s3:ListBucket", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::bucket_name" ], "Effect": "Allow" }, { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" }, { "Action": [ "iam:GetUser" ], "Resource": [ "arn:aws:iam::111122223333:user/DataExtractionAgentName" ], "Effect": "Allow" } ] }

Nell'esempio precedente, sostituiscilo bucket_name con il nome del tuo bucket Amazon S3. Quindi, sostituiscilo 111122223333:user/DataExtractionAgentName con il nome del tuo utente IAM.

Assumendo ruoli IAM

Per una maggiore sicurezza, puoi utilizzare i ruoli AWS Identity and Access Management (IAM) per accedere al tuo bucket Amazon S3. A tale scopo, crea un utente IAM per i tuoi agenti di estrazione dati senza alcuna autorizzazione. Quindi, crea un ruolo IAM che abiliti l'accesso ad Amazon S3 e specifica l'elenco di servizi e utenti che possono assumere questo ruolo. Per ulteriori informazioni, consulta Ruoli IAM nella Guida per l'utente IAM.

Per configurare i ruoli IAM per accedere al tuo bucket Amazon S3
  1. Crea un nuovo utente IAM. Per le credenziali utente, scegli il tipo di accesso programmatico.

  2. Configura l'ambiente host in modo che l'agente di estrazione dei dati possa assumere il ruolo che AWS SCT gli viene fornito. Assicurati che l'utente che hai configurato nel passaggio precedente consenta agli agenti di estrazione dei dati di utilizzare la catena di fornitori di credenziali. Per ulteriori informazioni, consulta Utilizzo delle credenziali nella Guida per gli AWS SDK for Java sviluppatori.

  3. Crea un nuovo ruolo IAM con accesso al tuo bucket Amazon S3.

  4. Modifica la sezione relativa alla fiducia di questo ruolo in modo che l'utente che hai creato in precedenza assuma il ruolo. Nell'esempio seguente, sostituiscilo 111122223333:user/DataExtractionAgentName con il nome del tuo utente.

    { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:user/DataExtractionAgentName" }, "Action": "sts:AssumeRole" }
  5. Modifica la sezione relativa alla fiducia di questo ruolo in modo che assuma il ruolo come affidabileredshift.amazonaws.com.

    { "Effect": "Allow", "Principal": { "Service": [ "redshift.amazonaws.com" ] }, "Action": "sts:AssumeRole" }
  6. Collega questo ruolo al tuo cluster Amazon Redshift.

Ora puoi eseguire il tuo agente di estrazione dati in AWS SCT.

Quando si utilizza l'assunzione del ruolo IAM, la migrazione dei dati funziona nel modo seguente. L'agente di estrazione dei dati si avvia e ottiene le credenziali dell'utente utilizzando la catena di fornitori di credenziali. Successivamente, si crea un'attività di migrazione dei dati in AWS SCT, quindi si specifica il ruolo IAM che gli agenti di estrazione dei dati devono assumere e si avvia l'attività. AWS Security Token Service (AWS STS) genera credenziali temporanee per accedere ad Amazon S3. L'agente di estrazione dati utilizza queste credenziali per caricare dati su Amazon S3.

Quindi, AWS SCT fornisce ad Amazon Redshift il ruolo IAM. A sua volta, Amazon Redshift ottiene nuove credenziali temporanee per accedere AWS STS ad Amazon S3. Amazon Redshift utilizza queste credenziali per copiare i dati da Amazon S3 alla tabella Amazon Redshift.

Impostazioni di sicurezza

L'agente di estrazione AWS Schema Conversion Tool e gli agenti di estrazione possono comunicare tramite Secure Sockets Layer (SSL). Per abilitare SSL, configura un archivio della chiave e di trust.

Per configurare una comunicazione sicura con il tuo agente di estrazione
  1. Avvia il. AWS Schema Conversion Tool

  2. Apri il menu Impostazioni, quindi scegli Impostazioni globali. Si aprirà la finestra di dialogo Global Settings (Impostazioni globali).

  3. Scegliere Sicurezza.

  4. Scegli Genera fiducia e archivio chiavi oppure seleziona Seleziona archivio attendibile esistente.

    Se scegli Generate trust e key store, specifichi il nome e la password per gli archivi trust e key e il percorso della posizione dei file generati. Utilizzerai questi file in un secondo momento.

    Se scegli Select existing trust store, specifichi quindi la password e il nome del file per gli archivi trust e key. Utilizzerai questi file in un secondo momento.

  5. Dopo aver specificato trust store e key store, scegliete OK per chiudere la finestra di dialogo delle impostazioni globali.

Configurazione dell'ambiente per gli agenti di estrazione dei dati

È possibile installare diversi agenti di estrazione dati su un singolo host. Tuttavia, si consiglia di eseguire un agente di estrazione dati su un host.

Per eseguire l'agente di estrazione dati, assicurati di utilizzare un host con almeno quattro vCPU e 32 GB di memoria. Inoltre, imposta la memoria minima disponibile su AWS SCT almeno quattro GB. Per ulteriori informazioni, consulta Configurazione della memoria aggiuntiva.

La configurazione ottimale e il numero di host degli agenti dipendono dalla situazione specifica di ciascun cliente. Assicurati di considerare fattori quali la quantità di dati da migrare, la larghezza di banda della rete, il tempo necessario per estrarre i dati e così via. È possibile eseguire prima un proof of concept (PoC), quindi configurare gli agenti e gli host di estrazione dei dati in base ai risultati di questo PoC.

Installazione degli agenti di estrazione

È consigliabile installare più agenti di estrazione sui singoli computer, separati dal computer su cui è in esecuzione AWS Schema Conversion Tool.

Gli agenti di estrazione sono attualmente supportati per i seguenti sistemi operativi:

  • Microsoft Windows

  • Red Hat Enterprise Linux (RHEL) 6.0

  • Ubuntu Linux (versione 14.04 e successive)

Utilizza la procedura seguente per installare gli agenti di estrazione. Ripeti questa procedura per ogni computer su cui si desidera installare un agente di estrazione.

Per installare un agente di estrazione
  1. Se non avete ancora scaricato il file di AWS SCT installazione, seguite le istruzioni riportate Installazione, verifica e aggiornamento AWS SCT per scaricarlo. Il file.zip che contiene il file di AWS SCT installazione contiene anche il file di installazione dell'agente di estrazione.

  2. Scarica e installa l'ultima versione di Amazon Corretto 11. Per ulteriori informazioni, consulta Download per Amazon Corretto 11 nella Guida per l'utente di Amazon Corretto 11.

  3. Individua il file del programma di installazione del tuo agente di estrazione in una sottocartella denominata agenti. Per ogni sistema operativo, il file corretto per installare l'agente di estrazione è riportato di seguito.

    Sistema operativo Nome file

    Microsoft Windows

    aws-schema-conversion-tool-extractor-2.0.1.build-number.msi

    RHEL

    aws-schema-conversion-tool-extractor-2.0.1.build-number.x86_64.rpm

    Ubuntu Linux

    aws-schema-conversion-tool-extractor-2.0.1.build-number.deb

  4. Installa l'agente di estrazione su un computer separato copiando il file di installazione sul nuovo computer.

  5. Esegui il file del programma di installazione. Utilizza le istruzioni per il tuo sistema operativo riportate di seguito.

    Sistema operativo Istruzioni di installazione

    Microsoft Windows

    Fai doppio clic sul file per eseguire il programma di installazione.

    RHEL

    Esegui i seguenti comandi nella cartella in cui hai scaricato o spostato il file.

    sudo rpm -ivh aws-schema-conversion-tool-extractor-2.0.1.build-number.x86_64.rpm sudo ./sct-extractor-setup.sh --config

    Ubuntu Linux

    Esegui i seguenti comandi nella cartella in cui hai scaricato o spostato il file.

    sudo dpkg -i aws-schema-conversion-tool-extractor-2.0.1.build-number.deb sudo ./sct-extractor-setup.sh --config
  6. Scegliete Avanti, accettate il contratto di licenza e scegliete Avanti.

  7. Inserisci il percorso per installare l'agente di estrazione AWS SCT dei dati e scegli Avanti.

  8. Scegli Installa per installare l'agente di estrazione dati.

    AWS SCT installa il tuo agente di estrazione dati. Per completare l'installazione, configura l'agente di estrazione dati. AWS SCT avvia automaticamente il programma di configurazione. Per ulteriori informazioni, consulta Configurazione degli agenti di estrazione.

  9. Scegli Fine per chiudere la procedura guidata di installazione dopo aver configurato l'agente di estrazione dei dati.

Configurazione degli agenti di estrazione

Utilizza la procedura seguente per configurare gli agenti di estrazione. Ripeti questa procedura su ogni computer su cui è installato un agente di estrazione.

Per configurare l'agente di estrazione
  1. Avvia il programma di configurazione:

    • In Windows, AWS SCT avvia automaticamente il programma di configurazione durante l'installazione di un agente di estrazione dati.

      Se necessario, è possibile avviare il programma di installazione manualmente. A tale scopo, esegui il ConfigAgent.bat file in Windows. Puoi trovare questo file nella cartella in cui hai installato l'agente.

    • In RHEL e Ubuntu, esegui il sct-extractor-setup.sh file dalla posizione in cui hai installato l'agente.

    Il programma di installazione richiede informazioni. Per ogni richiesta, appare un valore predefinito.

  2. Accettate il valore predefinito a ogni richiesta o immettete un nuovo valore.

    Specificare le seguenti informazioni:

    • Per Porta di ascolto, inserite il numero di porta su cui l'agente è in ascolto.

    • Per Aggiungi un fornitore di origine, inserisci , quindi inserisci la piattaforma di data warehouse di origine.

    • Per il driver JDBC, inserisci la posizione in cui hai installato i driver JDBC.

    • Per Working folder, inserisci il percorso in cui l'agente di estrazione dei AWS SCT dati memorizzerà i dati estratti. La cartella di lavoro può essere su un computer diverso dall'agente e una singola cartella di lavoro può essere condivisa da più agenti su diversi computer.

    • Per Abilita la comunicazione SSL, inserisci yes.

    • Per Archivio chiavi, inserisci la posizione del file dell'archivio delle chiavi.

    • Per Password dell'archivio chiavi, inserisci la password per l'archivio chiavi.

    • Per Abilita l'autenticazione SSL del client, inserisci yes.

    • Per Trust store, inserisci la posizione del file Trust Store.

    • Per la password del Trust Store, inserisci la password per il Trust Store.

Il programma di installazione aggiorna il file delle impostazioni per l'agente di estrazione. Il file delle impostazioni è denominato settings.properties e si trova nella stessa posizione in cui hai installato l'agente di estrazione.

Di seguito è riportato un esempio di file delle impostazioni.

$ cat settings.properties #extractor.start.fetch.size=20000 #extractor.out.file.size=10485760 #extractor.source.connection.pool.size=20 #extractor.source.connection.pool.min.evictable.idle.time.millis=30000 #extractor.extracting.thread.pool.size=10 vendor=TERADATA driver.jars=/usr/share/lib/jdbc/terajdbc4.jar port=8192 redshift.driver.jars=/usr/share/lib/jdbc/RedshiftJDBC42-1.2.43.1067.jar working.folder=/data/sct extractor.private.folder=/home/ubuntu ssl.option=OFF

Per modificare le impostazioni di configurazione, è possibile modificare il settings.properties file utilizzando un editor di testo o eseguire nuovamente la configurazione dell'agente.

Installazione e configurazione degli agenti di estrazione con agenti di copia dedicati

È possibile installare agenti di estrazione in una configurazione con storage condiviso e un agente di copia dedicato. Il diagramma seguente illustra questo scenario.

Agenti Extractor con configurazione di copy agent dedicata

Questa configurazione può essere utile quando un server di database di origine supporta fino a 120 connessioni e la rete dispone di un ampio spazio di archiviazione collegato. Utilizzate la procedura seguente per configurare gli agenti di estrazione con un agente di copia dedicato.

Per installare e configurare agenti di estrazione e un agente di copia dedicato
  1. Assicuratevi che la directory di lavoro di tutti gli agenti di estrazione utilizzi la stessa cartella sullo storage condiviso.

  2. Installa gli agenti di estrazione seguendo la procedura riportata di seguito. Installazione degli agenti di estrazione

  3. Configura gli agenti di estrazione seguendo i passaggi indicatiConfigurazione degli agenti di estrazione, ma specifica solo il driver JDBC di origine.

  4. Configura un agente di copia dedicato seguendo i passaggi indicatiConfigurazione degli agenti di estrazione, ma specifica solo un driver JDBC Amazon Redshift.

Avvio degli agenti di estrazione

Utilizza la procedura seguente per avviare gli agenti di estrazione. Ripeti questa procedura su ogni computer su cui è installato un agente di estrazione.

Gli agenti di estrazione fungono da ascoltatori. Quando avvii un agente con questa procedura, l'agente avvia l'ascolto delle relative istruzioni. Puoi inviare agli agenti le istruzioni per estrarre i dati provenienti dal data warehouse in una sezione successiva.

Per avviare l'agente di estrazione
  • Nel computer in cui è installato l'agente di estrazione, esegui il comando elencato di seguito per il tuo sistema operativo.

    Sistema operativo Comando di avvio

    Microsoft Windows

    Fai doppio clic sul file batch StartAgent.bat.

    RHEL

    Esegui il comando seguente nel percorso per la cartella in cui hai installato l'agente:

    sudo initctl start sct-extractor

    Ubuntu Linux

    Esegui il comando seguente nel percorso per la cartella in cui hai installato l'agente. Utilizza il comando appropriato alla tua versione di Ubuntu.

    Ubuntu 14.04: sudo initctl start sct-extractor

    Ubuntu 15.04 e versioni successive: sudo systemctl start sct-extractor

Per controllare lo stato dell'agente, esegui lo stesso comando, ma sostituisci start con status.

Per arrestare un agente, esegui lo stesso comando, ma sostituisci start con stop.

Registrazione degli agenti di estrazione con AWS Schema Conversion Tool

Gestisci i tuoi agenti di estrazione utilizzando AWS SCT. Gli agenti di estrazione fungono da ascoltatori. Quando ricevono istruzioni da AWS SCT, estraggono i dati dal tuo data warehouse.

Utilizzate la seguente procedura per registrare gli agenti di estrazione nel AWS SCT progetto.

Per registrare un agente di estrazione
  1. AWS Schema Conversion Tool Avviate e aprite un progetto.

  2. Apri il menu Visualizza, quindi scegli Data Migration view (altro). Viene visualizzata la scheda Agents (Agenti). Se hai già degli agenti registrati, li AWS SCT visualizza in una griglia nella parte superiore della scheda.

  3. Scegli Registrati.

    Dopo aver registrato un agente per un AWS SCT progetto, non puoi registrare lo stesso agente per un progetto diverso. Se non utilizzi più un agente in un AWS SCT progetto, puoi annullarne la registrazione. Puoi registrarlo con un progetto diverso.

  4. Scegli Redshift Data Agent, quindi scegli OK.

  5. Inserisci le tue informazioni nella scheda Connessione della finestra di dialogo:

    1. In Descrizione, inserisci una descrizione dell'agente.

    2. Per Nome host, inserire il nome host o l'indirizzo IP del computer dell'agente.

    3. In Porta, inserisci il numero di porta su cui l'agente è in ascolto.

    4. Scegli Registra per registrare l'agente nel tuo AWS SCT progetto.

  6. Ripeti i passaggi precedenti per registrare più agenti con il tuo progetto AWS SCT .

Nascondere e recuperare informazioni per un agente AWS SCT

Un AWS SCT agente crittografa una quantità significativa di informazioni, ad esempio le password degli archivi di fiducia delle chiavi degli utenti, gli account del database, le informazioni sugli AWS account e elementi simili. Lo fa utilizzando un file speciale chiamato seed.dat. Per impostazione predefinita, l'agente crea questo file nella cartella di lavoro dell'utente che configura per primo l'agente.

Poiché utenti diversi possono configurare ed eseguire l'agente, il percorso per seed.dat viene memorizzato nel parametro {extractor.private.folder} del file settings.properties. Quando l'agente viene avviato, può usare questo percorso per trovare il file seed.dat per accedere alle informazioni relative all'archivio di trust-della chiave per il database su cui agisce.

Potresti dover recuperare le password che un agente ha archiviato in questi casi:

  • Se l'utente perde il seed.dat file e la posizione e la porta dell' AWS SCT agente non sono cambiate.

  • Se l'utente perde il seed.dat file e la posizione e la porta dell' AWS SCT agente sono cambiate. In questo caso, la modifica in genere si verifica perché l'agente è stato migrato a un altro host o la porta e le informazioni contenute nel seed.dat file non sono più valide.

In questi casi, se un agente viene avviato senza SSL, si avvia e quindi accede allo storage dell'agente creato in precedenza. Quindi va nello stato Waiting for recovery (In attesa di ripristino)..

Tuttavia, in questi casi, se un agente viene avviato con SSL non puoi riavviarlo. Questo perché l'agente non è in grado di decriptare le password archiviate nel file settings.properties. In questo tipo di avvio, l'agente non riesce ad avviarsi. Un errore simile al seguente è scritto nel log: "L'agente non è stato in grado di avviarsi con la modalità SSL abilitata. Si prega di riconfigurare l'agente. Motivo: la password per il keystore non è corretta."

Per risolvere questo problema, crea un nuovo agente e configuralo in modo da utilizzare le password esistenti per accedere ai certificati SSL. A tale scopo, procedi come indicato di seguito.

Dopo aver eseguito questa procedura, l'agente dovrebbe avviarsi e passare allo stato In attesa di ripristino. AWS SCT invia automaticamente le password necessarie a un agente nello stato Waiting for recovery. Quando l'agente ha le password, riavvia qualsiasi attività. Non sono richieste ulteriori azioni da parte dell'utente da AWS SCT parte dell'utente.

Per riconfigurare l'agente e ripristinare le password per l'accesso ai certificati SSL
  1. Installa un nuovo AWS SCT agente ed esegui la configurazione.

  2. Cambia la proprietà agent.name nel file instance.properties per il nome dell'agente per cui lo storage è stato creato, per far sì che il nuovo agente sia compatibile con lo storage dell'agente esistente.

    Il file instance.properties viene archiviato nella cartella privata dell'agente, denominata utilizzando la seguente convenzione: {output.folder}\dmt\{hostName}_{portNumber}\.

  3. Cambia il nome di {output.folder} in quello della cartella di output dell'agente precedente.

    A questo punto, AWS SCT sta ancora cercando di accedere al vecchio estrattore sul vecchio host e sulla vecchia porta. Di conseguenza, l'estrattore inaccessibile ottiene lo stato FAILED. Puoi modificare l'host e la porta.

  4. Modifica l'host, la porta (o entrambi) dell'agente precedente utilizzando il comando Modifica per reindirizzare il flusso di richiesta al nuovo agente.

Quando AWS SCT può eseguire il ping del nuovo agente, AWS SCT riceve lo stato In attesa di ripristino dall'agente. AWS SCT quindi recupera automaticamente le password dell'agente.

Ogni agente che funziona con lo storage dell'agente aggiorna un file speciale chiamato storage.lck posizionato in {output.folder}\{agentName}\storage\. Questo file contiene l'ID di rete dell'agente e il tempo durante cui lo storage è bloccato. Quando l'agente funziona con lo storage dell'agente, aggiorna il file storage.lck ed estende la decorrenza dello storage di 10 minuti ogni 5 minuti. Nessuna altra istanza può funzionare con lo storage di questo agente prima della scadenza della decorrenza.

Creazione di regole di migrazione dei dati in AWS SCT

Prima di estrarre i dati con AWS Schema Conversion Tool, puoi impostare filtri che riducano la quantità di dati che estrai. È possibile creare regole di migrazione dei dati utilizzando WHERE clausole per ridurre i dati estratti. Ad esempio, puoi scrivere una clausola WHERE che seleziona i dati da un'unica tabella.

Puoi creare regole di migrazione dei dati e salvare i filtri come parte del tuo progetto. Con il progetto aperto, utilizzate la procedura seguente per creare regole di migrazione dei dati.

Per creare regole di migrazione dei dati
  1. Apri il menu Visualizza, quindi scegli Data Migration view (altro).

  2. Scegli Regole di migrazione dei dati, quindi scegli Aggiungi nuova regola.

  3. Configura la tua regola di migrazione dei dati:

    1. In Nome, inserisci un nome per la regola di migrazione dei dati.

    2. Per Where schema name is like, inserisci un filtro da applicare agli schemi. In questo filtro, una clausola WHERE viene valutata utilizzando una clausola LIKE. Per scegliere uno schema, inserisci un nome esatto dello schema. Per scegliere più schemi, usa il carattere «%» come jolly per abbinare un numero qualsiasi di caratteri nel nome dello schema.

    3. Ad esempio, inserisci un filtro da applicare alle tabelle. In questo filtro, una clausola WHERE viene valutata utilizzando una clausola LIKE. Per scegliere una tabella, inserisci un nome esatto. Per scegliere più tabelle, usa il carattere «%» come jolly per abbinare un numero qualsiasi di caratteri nel nome della tabella.

    4. Per la clausola Where, inserisci una WHERE clausola per filtrare i dati.

  4. Dopo aver configurato il filtro, selezionare Salva per salvare il filtro o Annulla per annullare le modifiche.

  5. Dopo aver aggiunto, modificato ed eliminato i filtri, scegli Salva tutto per salvare tutte le modifiche.

Per disattivare un filtro senza eliminarlo, utilizza l'icona di attivazione/disattivazione. Per duplicare un filtro esistente, utilizza l'icona Copia. Per eliminare un filtro esistente, utilizza l'icona Elimina. Per salvare le modifiche apportate ai filtri, scegli Salva tutto.

Modifica dell'estrattore e copia le impostazioni dalle impostazioni del progetto

Dalla finestra delle impostazioni del progetto in AWS SCT, puoi scegliere le impostazioni per gli agenti di estrazione dei dati e il comando Amazon RedshiftCOPY.

Per scegliere queste impostazioni, scegli Impostazioni, Impostazioni del progetto, quindi scegli Migrazione dei dati. Qui puoi modificare le impostazioni di estrazione, le impostazioni di Amazon S3 e le impostazioni di copia.

Utilizza le istruzioni nella tabella seguente per fornire le informazioni per le impostazioni di estrazione.

Per questo parametro Esegui questa operazione

Formato di compressione

Specificate il formato di compressione dei file di input. Scegliete una delle seguenti opzioni: GZIP, BZIP2, ZSTD o Nessuna compressione.

Carattere delimitatore

Specificate il carattere ASCII che separa i campi nei file di input. I caratteri non stampabili non sono supportati.

Valore NULL come stringa

Attiva questa opzione se i dati includono un terminatore nullo. Se questa opzione è disattivata, il COPY comando Amazon Redshift considera null come la fine del record e termina il processo di caricamento.

Strategia di ordinamento

Usa l'ordinamento per riavviare l'estrazione dal punto di errore. Scegliete una delle seguenti strategie di ordinamento: Usa l'ordinamento dopo il primo errore (consigliato), Usa l'ordinamento se possibile o Non usare mai l'ordinamento. Per ulteriori informazioni, consulta Ordinamento dei dati prima della migrazione utilizzando AWS SCT.

Schema temporaneo di origine

Immettete il nome dello schema nel database di origine, in cui l'agente di estrazione può creare gli oggetti temporanei.

Dimensione del file in uscita (in MB)

Inserisci la dimensione, in MB, dei file caricati su Amazon S3.

Dimensione del file Snowball out (in MB)

Inserisci la dimensione, in MB, dei file caricati su. AWS Snowball Le dimensioni dei file possono essere comprese tra 1 e 1.000 MB.

Utilizza il partizionamento automatico. Per Greenplum e Netezza, inserisci la dimensione minima delle tabelle supportate (in megabyte)

Attiva questa opzione per utilizzare il partizionamento delle tabelle, quindi inserisci la dimensione delle tabelle da partizionare per i database di origine Greenplum e Netezza. Per le migrazioni da Oracle ad Amazon Redshift, puoi lasciare vuoto questo campo perché AWS SCT crea sottoattività per tutte le tabelle partizionate.

Estrai LOB

Attiva questa opzione per estrarre oggetti di grandi dimensioni (LOB) dal database di origine. I LOB includono BLOB, CLOB, NCLOB, file XML e così via. Per ogni LOB, gli agenti di estrazione creano un file di dati. AWS SCT

Cartella LOB con bucket Amazon S3

Inserisci la posizione degli agenti di AWS SCT estrazione in cui archiviare i LOB.

Applica RTRIM alle colonne di stringhe

Attiva questa opzione per tagliare un set di caratteri specificato dalla fine delle stringhe estratte.

Conserva i file localmente dopo il caricamento su Amazon S3

Attiva questa opzione per conservare i file sul computer locale dopo che gli agenti di estrazione dei dati li hanno caricati su Amazon S3.

Utilizza le istruzioni nella tabella seguente per fornire le informazioni per le impostazioni di Amazon S3.

Per questo parametro Esegui questa operazione

Usa un proxy

Attiva questa opzione per utilizzare un server proxy per caricare dati su Amazon S3. Quindi scegli il protocollo di trasferimento dati, inserisci il nome host, la porta, il nome utente e la password.

Endpoint type (Tipo di endpoint)

Scegli FIPS per utilizzare l'endpoint FIPS (Federal Information Processing Standard). Scegli VPCE per utilizzare l'endpoint del cloud privato virtuale (VPC). Quindi, per l'endpoint VPC, inserisci il Domain Name System (DNS) del tuo endpoint VPC.

Conserva i file su Amazon S3 dopo averli copiati su Amazon Redshift

Attiva questa opzione per conservare i file estratti su Amazon S3 dopo averli copiati su Amazon Redshift.

Utilizza le istruzioni nella tabella seguente per fornire le informazioni per le impostazioni di copia.

Per questo parametro Esegui questa operazione

Numero massimo di errori

Immettere il numero di errori di caricamento. Dopo che l'operazione raggiunge questo limite, gli agenti di estrazione AWS SCT dei dati terminano il processo di caricamento dei dati. Il valore predefinito è 0, il che significa che gli agenti di estrazione AWS SCT dei dati continuano il caricamento dei dati indipendentemente dagli errori.

Sostituisce i caratteri UTF-8 non validi

Attiva questa opzione per sostituire i caratteri UTF-8 non validi con il carattere specificato e continuare l'operazione di caricamento dei dati.

Usa vuoto come valore nullo

Attiva questa opzione per caricare campi vuoti costituiti da caratteri di spazio bianco come nulli.

Usa vuoto come valore nullo

Attiva questa opzione per caricare campi vuoti CHAR e VARCHAR campi come nulli.

Tronca le colonne

Attiva questa opzione per troncare i dati in colonne per adattarli alle specifiche del tipo di dati.

Compressione automatica

Attiva questa opzione per applicare la codifica di compressione durante un'operazione di copia.

Aggiornamento automatico delle statistiche

Attiva questa opzione per aggiornare le statistiche al termine di un'operazione di copia.

Controlla il file prima del caricamento

Attiva questa opzione per convalidare i file di dati prima di caricarli su Amazon Redshift.

Ordinamento dei dati prima della migrazione utilizzando AWS SCT

L'ordinamento dei dati prima della migrazione AWS SCT offre alcuni vantaggi. Se si ordinano prima i dati, AWS SCT è possibile riavviare l'agente di estrazione dall'ultimo punto salvato dopo un errore. Inoltre, se stai migrando i dati su Amazon Redshift e li ordini prima AWS SCT , puoi inserirli in Amazon Redshift più velocemente.

Questi vantaggi riguardano il modo in cui vengono AWS SCT create le query di estrazione dei dati. In alcuni casi, AWS SCT utilizza la funzione analitica DENSE_RANK in queste query. Tuttavia, DENSE_RANK può utilizzare molto tempo e risorse del server per ordinare il set di dati risultante dall'estrazione, quindi se può funzionare senza di esso, funziona. AWS SCT

Per ordinare i dati prima della migrazione, utilizzare AWS SCT
  1. Aprire un AWS SCT progetto.

  2. Apri il menu contestuale (fai clic con il pulsante destro del mouse) per l'oggetto, quindi scegli Crea attività locale.

  3. Scegli la scheda Avanzate e, per Strategia di ordinamento, scegli un'opzione:

    • Non utilizzare mai l'ordinamento: l'agente di estrazione non utilizza la funzione analitica DENSE_RANK e si riavvia dall'inizio in caso di errore.

    • Se possibile, utilizzate l'ordinamento: l'agente di estrazione utilizza DENSE_RANK se la tabella ha una chiave primaria o un vincolo univoco.

    • Utilizza l'ordinamento dopo il primo errore (consigliato): l'agente di estrazione tenta innanzitutto di ottenere i dati senza utilizzare DENSE_RANK. Se il primo tentativo ha esito negativo, l'agente di estrazione ricostruisce la query utilizzando DENSE_RANK e conserva la propria posizione in caso di guasto.

    La scheda di sicurezza sulla finestra di dialogo Impostazioni globali
  4. Impostare parametri aggiuntivi come descritto di seguito, quindi scegli Crea per creare la tua attività di estrazione dei dati.

Creazione, esecuzione e monitoraggio di un'attività di estrazione dei dati AWS SCT

Utilizza le seguenti procedure per creare, eseguire e monitorare le attività di estrazione dei dati.

Per assegnare le attività agli agenti e migrare i dati
  1. In AWS Schema Conversion Tool, dopo aver convertito lo schema, scegli una o più tabelle dal pannello di sinistra del progetto.

    Puoi scegliere tutte le tabelle, ma è un'azione che sconsigliamo per motivi di prestazioni. È consigliabile creare più attività per più tabelle in base alle dimensioni delle tabelle del data warehouse.

  2. Apri il menu contestuale (fai clic con il pulsante destro del mouse) per ogni tabella, quindi scegli Crea attività. Viene visualizzata la finestra di dialogo Crea attività locale.

  3. In Nome attività, inserisci un nome per l'attività.

  4. Per la modalità di migrazione, scegli una delle seguenti opzioni:

    • Solo estrazione: estrai i dati e salvali nelle cartelle di lavoro locali.

    • Estrazione e caricamento: estrai i dati e caricali su Amazon S3.

    • Estrai, carica e copia: estrai i dati, carica i dati su Amazon S3 e copiali nel tuo data warehouse Amazon Redshift.

  5. Per il tipo di crittografia, scegli una delle seguenti opzioni:

    • NESSUNA: disattiva la crittografia dei dati per l'intero processo di migrazione dei dati.

    • CSE_SK: utilizza la crittografia lato client con una chiave simmetrica per migrare i dati. AWS SCT genera automaticamente chiavi di crittografia e le trasmette agli agenti di estrazione dei dati utilizzando Secure Sockets Layer (SSL). AWS SCT non crittografa oggetti di grandi dimensioni (LOB) durante la migrazione dei dati.

  6. Scegliere Extract LOBs (Estrai LOB) per estrarre gli oggetti di grandi dimensioni. Se non è necessario estrarre gli oggetti di grandi dimensioni, è possibile deselezionare la casella di controllo. In questo modo è possibile ridurre la quantità di dati estratti.

  7. Per visualizzare informazioni dettagliate su un'attività, scegli Abilita registrazione delle attività. Puoi utilizzare i log dell'attività per il debug dei problemi.

    Se abiliti il log delle attività, scegli il livello di dettaglio che desideri visualizzare. I livelli sono i seguenti, con ogni livello che include tutti i messaggi del livello precedente:

    • ERROR— La minima quantità di dettagli.

    • WARNING

    • INFO

    • DEBUG

    • TRACE— La massima quantità di dettagli.

  8. Per esportare i dati da BigQuery, AWS SCT utilizza la cartella bucket di Google Cloud Storage. In questa cartella, gli agenti di estrazione dei dati archiviano i dati di origine.

    Per inserire il percorso della cartella bucket di Google Cloud Storage, scegli Avanzate. Per la cartella bucket di Google CS, inserisci il nome del bucket e il nome della cartella.

  9. Per assumere un ruolo come utente del tuo agente di estrazione dati, scegli le impostazioni di Amazon S3. Per il ruolo IAM, inserisci il nome del ruolo da utilizzare. Per Regione, scegli il ruolo Regione AWS per questo ruolo.

  10. Scegli Test task per verificare che sia possibile connettersi alla cartella di lavoro, al bucket Amazon S3 e al data warehouse Amazon Redshift. La verifica dipende dalla modalità di migrazione scelta.

  11. Scegli Create (crea) per creare l'attività.

  12. Ripeti i passaggi precedenti per creare le attività per tutti i dati che desideri migrare.

Per eseguire e monitorare le attività
  1. Per View, scegli Data Migration view. Viene visualizzata la scheda Agents (Agenti).

  2. Selezionare la scheda Tasks (Attività). Le tue attività compaiono nella griglia nella parte superiore come illustrato di seguito. Puoi visualizzare lo stato di un'attività nella griglia superiore e lo stato delle sottoattività nella griglia inferiore.

    Griglia delle attività
  3. Scegli un'attività nella griglia superiore ed espandila. A seconda della modalità di migrazione scelta, vedrai l'attività divisa in Extract (Estrai), Carica e Copy (Copia).

  4. Scegliere Start (Avvia) per un'attività per avviarla. Puoi monitorare lo stato delle attività durante il loro lavoro. Le sottoattività vengono eseguite in parallelo. Anche l'estrazione, il caricamento e la copia vengono eseguiti in parallelo.

  5. Se hai abilitato la creazione di log quando configuri l'attività, puoi visualizzare i log:

    1. Scegli Scarica registro. Viene visualizzato un messaggio con il nome della cartella che contiene i file di log. Elimina il messaggio.

    2. Un link viene visualizzato nella scheda Task details (Dettagli dell'attività). Scegli il link per aprire la cartella che contiene i file di log.

Puoi chiudere AWS SCT e gli agenti e le attività continueranno a funzionare. Puoi riaprirle in un AWS SCT secondo momento per controllare lo stato delle attività e visualizzare i registri delle attività.

È possibile salvare le attività di estrazione dei dati sul disco locale e ripristinarle sullo stesso o su un altro progetto utilizzando l'esportazione e l'importazione. Per esportare un'attività, assicurati di avere almeno un'attività di estrazione creata in un progetto. È possibile importare una singola attività di estrazione o tutte le attività create nel progetto.

Quando esporti un'attività di estrazione, AWS SCT crea un .xml file separato per quell'attività. Il .xml file memorizza le informazioni sui metadati dell'attività, come le proprietà, la descrizione e le sottoattività. Il .xml file non contiene informazioni sull'elaborazione di un'operazione di estrazione. Informazioni come le seguenti vengono ricreate quando l'attività viene importata:

  • Avanzamento dell'attività

  • Sottoattività e stati dello stadio

  • Distribuzione degli agenti di estrazione per sottoattività e fasi

  • ID delle attività e delle sottoattività

  • Nome attività

Esportazione e importazione di un'attività di estrazione dei dati AWS SCT

È possibile salvare rapidamente un'attività esistente da un progetto e ripristinarla in un altro progetto (o nello stesso progetto) utilizzando l' AWS SCT esportazione e l'importazione. Utilizzate la seguente procedura per esportare e importare le attività di estrazione dei dati.

Per esportare e importare un'attività di estrazione dei dati
  1. Per Visualizza, scegli la visualizzazione Data Migration. Viene visualizzata la scheda Agents (Agenti).

  2. Selezionare la scheda Tasks (Attività). Le tue attività sono elencate nella griglia visualizzata.

  3. Scegli i tre punti allineati verticalmente (icona con i puntini di sospensione) situati nell'angolo in basso a destra sotto l'elenco delle attività.

  4. Scegli Esporta attività dal menu pop-up.

  5. Scegli la cartella in cui desideri AWS SCT inserire il .xml file di esportazione dell'attività.

    AWS SCT crea il file di esportazione delle attività con il formato del nome file diTASK-DESCRIPTION_TASK-ID.xml.

  6. Scegli i tre punti allineati verticalmente (icona con i puntini di sospensione) in basso a destra sotto l'elenco delle attività.

  7. Scegli Importa attività dal menu pop-up.

    È possibile importare un'attività di estrazione in un progetto collegato al database di origine e il progetto ha almeno un agente di estrazione registrato attivo.

  8. Seleziona il .xml file per l'attività di estrazione che hai esportato.

    AWS SCT ottiene i parametri dell'attività di estrazione dal file, crea l'attività e la aggiunge agli agenti di estrazione.

  9. Ripeti questi passaggi per esportare e importare altre attività di estrazione dei dati.

Al termine di questo processo, l'esportazione e l'importazione sono complete e le attività di estrazione dei dati sono pronte per l'uso.

Estrazione dei dati tramite un dispositivo AWS Snowball Edge

Il processo di utilizzo AWS SCT di AWS Snowball Edge prevede diversi passaggi. La migrazione prevede un'attività locale, in cui AWS SCT utilizza un agente di estrazione dati per spostare i dati sul dispositivo AWS Snowball Edge, quindi un'azione intermedia in cui AWS copia i dati dal dispositivo AWS Snowball Edge a un bucket Amazon S3. Il processo termina il AWS SCT caricamento dei dati dal bucket Amazon S3 su Amazon Redshift.

Le sezioni che seguono questa panoramica forniscono una step-by-step guida per ciascuna di queste attività. La procedura presuppone che sia stato AWS SCT installato e configurato e registrato un agente di estrazione dati su un computer dedicato.

Esegui i passaggi seguenti per migrare i dati da un data store locale a un AWS data store utilizzando AWS Snowball Edge.

  1. Crea un job AWS Snowball Edge utilizzando la AWS Snowball console.

  2. Sblocca il dispositivo AWS Snowball Edge utilizzando il computer Linux locale dedicato.

  3. Crea un nuovo progetto in AWS SCT.

  4. Installa e configura i tuoi agenti di estrazione dei dati.

  5. Crea e imposta le autorizzazioni per il bucket Amazon S3 da utilizzare.

  6. Importa un AWS Snowball lavoro nel tuo AWS SCT progetto.

  7. Registra il tuo agente di estrazione dati in AWS SCT.

  8. Crea un'attività locale in AWS SCT.

  9. Esegui e monitora l'attività di migrazione dei dati in AWS SCT.

tep-by-step Procedure S per la migrazione dei dati tramite AWS SCT Edge AWS Snowball

Le sezioni seguenti forniscono informazioni dettagliate sulle fasi della migrazione.

Passaggio 1: creare un lavoro AWS Snowball Edge

Crea un AWS Snowball lavoro seguendo i passaggi descritti nella sezione Creating an AWS Snowball Edge Job nella AWS Snowball Edge Developer Guide.

Passaggio 2: sblocca il dispositivo AWS Snowball Edge

Esegui i comandi che sbloccano e forniscono le credenziali al dispositivo Snowball Edge dal computer su cui hai installato AWS DMS l'agente. Eseguendo questi comandi, puoi essere sicuro che la chiamata dell' AWS DMS agente si connetta al dispositivo AWS Snowball Edge. Per ulteriori informazioni sullo sblocco del dispositivo AWS Snowball Edge, consulta Sblocco di Snowball Edge.

aws s3 ls s3://<bucket-name> --profile <Snowball Edge profile> --endpoint http://<Snowball IP>:8080 --recursive

Fase 3: Creare un nuovo progetto AWS SCT

Quindi, crea un nuovo AWS SCT progetto.

Per creare un nuovo progetto in AWS SCT
  1. Avvia il AWS Schema Conversion Tool. Nel menu File, scegli Nuovo progetto. Viene visualizzata la finestra di dialogo Nuovo progetto.

  2. Immetti un nome per il progetto, che è memorizzato localmente nel computer.

  3. Immetti l'ubicazione del file del progetto locale.

  4. Scegliete OK per creare il AWS SCT progetto.

  5. Scegli Aggiungi sorgente per aggiungere un nuovo database di origine al tuo AWS SCT progetto.

  6. Scegli Aggiungi destinazione per aggiungere una nuova piattaforma di destinazione al tuo AWS SCT progetto.

  7. Scegli lo schema del database di origine nel pannello di sinistra.

  8. Nel pannello di destra, specifica la piattaforma di database di destinazione per lo schema di origine selezionato.

  9. Scegli Crea mappatura. Questo pulsante diventa attivo dopo aver scelto lo schema del database di origine e la piattaforma di database di destinazione.

Passaggio 4: installa e configura l'agente di estrazione dei dati

AWS SCT utilizza un agente di estrazione dati per migrare i dati su Amazon Redshift. Il file.zip che hai scaricato per l'installazione include il file di installazione AWS SCT dell'agente di estrazione. È possibile installare l'agente di estrazione dei dati in Windows, Red Hat Enterprise Linux o Ubuntu. Per ulteriori informazioni, consulta Installazione degli agenti di estrazione.

Per configurare l'agente di estrazione dei dati, inserisci i motori di database di origine e di destinazione. Inoltre, assicurati di aver scaricato i driver JDBC per i database di origine e di destinazione sul computer in cui esegui l'agente di estrazione dati. Gli agenti di estrazione dei dati utilizzano questi driver per connettersi ai database di origine e di destinazione. Per ulteriori informazioni, consulta Scaricamento dei driver di database richiesti.

In Windows, il programma di installazione dell'agente di estrazione dati avvia la procedura guidata di configurazione nella finestra del prompt dei comandi. In Linux, esegui il sct-extractor-setup.sh file dalla posizione in cui hai installato l'agente.

Fase 5: Configurazione AWS SCT per accedere al bucket Amazon S3

Per informazioni sulla configurazione di un bucket Amazon S3, consulta la panoramica dei bucket nella Guida per l'utente di Amazon Simple Storage Service.

Fase 6: Importa un AWS Snowball lavoro nel tuo progetto AWS SCT

Per connettere il AWS SCT progetto al dispositivo AWS Snowball Edge, importa il AWS Snowball lavoro.

Per importare il tuo AWS Snowball lavoro
  1. Apri il menu Impostazioni, quindi scegli Impostazioni globali. Si aprirà la finestra di dialogo Global Settings (Impostazioni globali).

  2. Scegli i profili di AWS servizio, quindi scegli Importa lavoro.

  3. Scegli il tuo AWS Snowball lavoro.

  4. Inserisci il tuo AWS Snowball IP. Per ulteriori informazioni, consulta Modifica dell'indirizzo IP nella Guida AWS Snowball per l'utente.

  5. Inserisci la tua AWS Snowball porta. Per ulteriori informazioni, consulta Porte necessarie per utilizzare AWS i servizi su un dispositivo AWS Snowball Edge nella AWS Snowball Edge Developer Guide.

  6. Inserisci la chiave di AWS Snowball accesso e la chiave AWS Snowball segreta. Per ulteriori informazioni, consulta la sezione Autorizzazione e controllo degli accessi AWS Snowball nella Guida AWS Snowball per l'utente.

  7. Scegli Apply (Applica), quindi OK.

Fase 7: Registrare un agente di estrazione dati in AWS SCT

In questa sezione, si registra l'agente di estrazione dati in AWS SCT.

Per registrare un agente di estrazione dati
  1. Nel menu Visualizza, scegli Data migration view (altro), quindi scegli Registra.

  2. Per Descrizione, inserisci un nome per l'agente di estrazione dei dati.

  3. Per Nome host, inserisci l'indirizzo IP del computer su cui viene eseguito l'agente di estrazione dati.

  4. Per Porta, inserisci la porta di ascolto che hai configurato.

  5. Scegli Registrati.

Fase 8: Creazione di un'attività locale

Successivamente, crei l'attività di migrazione. che include due attività secondarie: Una sottoattività consente di migrare i dati dal database di origine all'appliance AWS Snowball Edge. L'altra attività secondaria acquisisce i dati caricati dall'appliance in un bucket Amazon S3 e ne esegue la migrazione nel database di destinazione.

Per creare l'attività di migrazione
  1. Nel menu Visualizza, quindi scegli Data migration view (altro).

  2. Nel pannello a sinistra, in cui viene visualizzato lo schema del database di origine, scegli un oggetto dello schema per il quale eseguire la migrazione. Apri il menu contestuale (fai clic con il pulsante destro del mouse) per l'oggetto, quindi scegli Crea attività locale.

  3. In Nome attività, inserisci un nome descrittivo per l'attività di migrazione dei dati.

  4. Per la modalità di migrazione, scegli Estrai, carica e copia.

  5. Scegli le impostazioni di Amazon S3.

  6. Seleziona Usa Snowball.

  7. Inserisci cartelle e sottocartelle nel tuo bucket Amazon S3 in cui l'agente di estrazione dati può archiviare i dati.

  8. Scegli Create (crea) per creare l'attività.

Fase 9: Esecuzione e monitoraggio dell'attività di migrazione dei dati in AWS SCT

Per iniziare l'attività di migrazione dei dati, scegli Avvia. Assicurati di aver stabilito connessioni al database di origine, al bucket Amazon S3, al AWS Snowball dispositivo e alla connessione al database di destinazione su. AWS

Puoi monitorare e gestire le attività di migrazione dei dati e le relative sottoattività nella scheda Attività. È possibile visualizzare l'avanzamento della migrazione dei dati, nonché sospendere o riavviare le attività di migrazione dei dati.

Output dell'attività di estrazione dei dati

Dopo il completamento delle attività di migrazione, i tuoi dati sono pronti. Utilizza le informazioni riportate di seguito per determinare come procedere in base alla modalità di migrazione scelta e alla posizione dei dati.

Modalità di migrazione Ubicazione dei dati

Estrai, carica e copia

I dati sono già presenti nel tuo data warehouse Amazon Redshift. Puoi verificare che i dati siano presenti e iniziare a utilizzarli. Per ulteriori informazioni, consulta Connessione ai cluster da strumenti e codice client.

Estrai e carica

Gli agenti di estrazione hanno salvato i dati come file nel bucket Amazon S3. Puoi utilizzare il comando Amazon Redshift COPY per caricare i dati su Amazon Redshift. Per ulteriori informazioni, consulta Caricamento di dati da Amazon S3 nella documentazione di Amazon Redshift.

Nel bucket Amazon S3 sono presenti più cartelle, corrispondenti alle attività di estrazione che hai impostato. Quando carichi i dati su Amazon Redshift, specifica il nome del file manifest creato da ciascuna attività. Il file manifest viene visualizzato nella cartella delle attività del bucket Amazon S3 come illustrato di seguito.

Elenco di file nel bucket Amazon S3

Estrai solo

Gli agenti di estrazione hanno salvato i dati come file nella tua cartella di lavoro. Copia manualmente i dati nel bucket Amazon S3, quindi procedi con le istruzioni per l'estrazione e il caricamento.

Utilizzo del partizionamento virtuale con AWS Schema Conversion Tool

Puoi gestire tabelle non partizionate di grandi dimensioni creando sottoattività che generano partizioni virtuali dei dati della tabella utilizzando le regole di filtro. In AWS SCT, puoi creare partizioni virtuali per i tuoi dati migrati. Esistono tre tipi di partizione, che funzionano con determinati tipi di dati:

  • Il tipo di partizione RANGE funziona con tipi di dati numerici e relativi a data e ora.

  • Il tipo di partizione LIST funziona con tipi di dati numerici, di carattere e relativi a data e ora.

  • Il tipo di partizione DATE AUTO SPLIT funziona con tipi di dati numerici, di data e ora.

AWS SCT convalida i valori forniti per la creazione di una partizione. Ad esempio, se si tenta di partizionare una colonna con il tipo di dati NUMERIC ma si forniscono valori di un tipo di dati diverso, AWS SCT genera un errore.

Inoltre, se utilizzi AWS SCT per migrare i dati su Amazon Redshift, puoi utilizzare il partizionamento nativo per gestire la migrazione di tabelle di grandi dimensioni. Per ulteriori informazioni, consulta Utilizzo del partizionamento nativo.

Limiti durante la creazione di partizionamenti virtuali

Queste sono limitazioni per la creazione di una partizione virtuale:

  • Puoi utilizzare il partizionamento virtuale solo per le tabelle non partizionate.

  • Puoi usare il partizionamento virtuale solo nella vista della migrazione dei dati.

  • Non puoi utilizzare l'opzione UNION ALL VIEW con il partizionamento virtuale.

Tipo di partizione RANGE

Il tipo di partizione RANGE suddivide i dati in base a una gamma di valori di colonna per i tipi di dati numerici e relativi a data e ora. Questo tipo di partizione crea una clausola WHERE e tu fornisci l'intervallo di valori per ogni partizione. Per specificare un elenco di valori per la colonna partizionata, utilizzate la casella Valori. Puoi caricare le informazioni sul valore utilizzando un file csv.

Il tipo di partizione RANGE crea partizioni predefinite a entrambe le estremità dei valori della partizione. Queste partizioni predefinite catturano tutti i dati inferiori o superiori ai valori di partizione specificati.

Ad esempio, è possibile creare più partizioni in base a un intervallo di valori fornito dall'utente. In questo esempio, i valori del partizionamento LO_TAX sono specificati per creare più partizioni.

Partition1: WHERE LO_TAX <= 10000.9 Partition2: WHERE LO_TAX > 10000.9 AND LO_TAX <= 15005.5 Partition3: WHERE LO_TAX > 15005.5 AND LO_TAX <= 25005.95
Per creare una partizione virtuale RANGE
  1. Aprire AWS SCT.

  2. Scegli la modalità di visualizzazione Data Migration (altro).

  3. Scegliere la tabella in cui desideri impostare il partizionamento virtuale. Apri il menu contestuale (fai clic con il pulsante destro del mouse) per la tabella e scegli Aggiungi partizionamento virtuale.

  4. Nella finestra di dialogo Aggiungi partizionamento virtuale, immettete le informazioni come segue.

    Opzione Azione

    Tipo di partizione

    Scegli RANGE. L'interfaccia utente della finestra di dialogo cambia a seconda del tipo scelto.

    Nome della colonna

    Scegli la colonna su cui desideri effettuare la partizione.

    Tipo di colonna

    Scegli il tipo di dati per i valori nella colonna.

    Valori

    Aggiungere nuovi valori digitando ogni valore nella casella New Value (Nuovo valore), quindi scegliendo il segno più per aggiungere il valore.

    Carica da file

    (Facoltativo) Immetti il nome di un file.csv che contiene i valori della partizione.

  5. Scegli OK.

Tipo di partizione LIST

Il tipo di partizione LIST suddivide i dati in base ai valori di colonna per i tipi di dati numerici, di carattere e relativi a data e ora. Questo tipo di partizione crea una clausola WHERE e tu fornisci i valori per ogni partizione. Per specificare un elenco di valori per la colonna partizionata, utilizzate la casella Valori. Puoi caricare le informazioni sul valore utilizzando un file csv.

Ad esempio, puoi creare più partizioni in base a un valore fornito. In questo esempio, i valori del partizionamento LO_ORDERKEY sono specificati per creare più partizioni.

Partition1: WHERE LO_ORDERKEY = 1 Partition2: WHERE LO_ORDERKEY = 2 Partition3: WHERE LO_ORDERKEY = 3 … PartitionN: WHERE LO_ORDERKEY = USER_VALUE_N

Puoi anche creare una partizione di default per i valori non inclusi in quelli specificati.

È possibile utilizzare il tipo di partizione LIST per filtrare i dati di origine se si desidera escludere valori particolari dalla migrazione. Ad esempio, supponiamo di voler omettere le righe con. LO_ORDERKEY = 4 In questo caso, non includete il valore 4 nell'elenco dei valori di partizione e assicuratevi che l'opzione Includi altri valori non sia selezionata.

Per creare una partizione virtuale LIST
  1. Apri AWS SCT.

  2. Scegli la modalità di visualizzazione Data Migration (altro).

  3. Scegliere la tabella in cui desideri impostare il partizionamento virtuale. Apri il menu contestuale (fai clic con il pulsante destro del mouse) per la tabella e scegli Aggiungi partizionamento virtuale.

  4. Nella finestra di dialogo Aggiungi partizionamento virtuale, immettete le informazioni come segue.

    Opzione Azione

    Tipo di partizione

    Scegli LIST. L'interfaccia utente della finestra di dialogo cambia a seconda del tipo scelto.

    Nome della colonna

    Scegli la colonna su cui desideri effettuare la partizione.

    Nuovo valore

    Digita un valore qui per aggiungerlo al set di valori di partizionamento.

    Includi altri valori

    Scegli questa opzione per creare una partizione di default in cui tutti i valori che non soddisfano i criteri di partizionamento vengono archiviati.

    Carica da file

    (Facoltativo) Immetti il nome di un file.csv che contiene i valori della partizione.

  5. Scegli OK.

Tipo di partizione DATE AUTO SPLIT

Il tipo di partizione DATE AUTO SPLIT è un modo automatico per generare partizioni RANGE. Con DATA AUTO SPLIT, si indica AWS SCT all'attributo di partizionamento, dove iniziare e finire e la dimensione dell'intervallo tra i valori. Quindi AWS SCT calcola automaticamente i valori delle partizioni.

DATA AUTO SPLIT automatizza gran parte del lavoro relativo alla creazione di partizioni di intervallo. Il compromesso tra l'utilizzo di questa tecnica e il partizionamento a intervalli è il controllo necessario sui limiti delle partizioni. Il processo di suddivisione automatica crea sempre intervalli di dimensioni uguali (uniformi). Il partizionamento degli intervalli consente di variare le dimensioni di ciascun intervallo in base alle esigenze di una particolare distribuzione dei dati. Ad esempio, è possibile utilizzare giornalmente, settimanalmente, bisettimanalmente, mensilmente e così via.

Partition1: WHERE LO_ORDERDATE >= ‘1954-10-10’ AND LO_ORDERDATE < ‘1954-10-24’ Partition2: WHERE LO_ORDERDATE >= ‘1954-10-24’ AND LO_ORDERDATE < ‘1954-11-06’ Partition3: WHERE LO_ORDERDATE >= ‘1954-11-06’ AND LO_ORDERDATE < ‘1954-11-20’ … PartitionN: WHERE LO_ORDERDATE >= USER_VALUE_N AND LO_ORDERDATE <= ‘2017-08-13’
Per creare una partizione virtuale DATE AUTO SPLIT
  1. Aperta AWS SCT.

  2. Scegli la modalità di visualizzazione Data Migration (altro).

  3. Scegliere la tabella in cui desideri impostare il partizionamento virtuale. Apri il menu contestuale (fai clic con il pulsante destro del mouse) per la tabella e scegli Aggiungi partizionamento virtuale.

  4. Nella finestra di dialogo Aggiungi partizionamento virtuale, immettete le informazioni come segue.

    Opzione Azione

    Tipo di partizione

    Scegliere DATE AUTO SPLIT. L'interfaccia utente della finestra di dialogo cambia a seconda del tipo scelto.

    Nome della colonna

    Scegli la colonna su cui desideri effettuare la partizione.

    Data di inizio

    Digitare una data di inizio.

    Data di fine

    Digitare una data di fine.

    Interval (Intervallo)

    Immetti l'unità dell'intervallo e scegli il valore per quell'unità.

  5. Scegli OK.

Utilizzo del partizionamento nativo

Per accelerare la migrazione dei dati, gli agenti di estrazione dei dati possono utilizzare partizioni native di tabelle sul server del data warehouse di origine. AWS SCT supporta il partizionamento nativo per le migrazioni da Greenplum, Netezza e Oracle ad Amazon Redshift.

Ad esempio, dopo aver creato un progetto, è possibile raccogliere statistiche su uno schema e analizzare le dimensioni delle tabelle selezionate per la migrazione. Per le tabelle che superano la dimensione specificata, AWS SCT attiva il meccanismo di partizionamento nativo.

Per utilizzare il partizionamento nativo
  1. Apri AWS SCT e scegli Nuovo progetto per File. Viene visualizzata la finestra di dialogo Nuovo progetto.

  2. Crea un nuovo progetto, aggiungi i server di origine e di destinazione e crea regole di mappatura. Per ulteriori informazioni, consulta Creare unAWS SCT progetto.

  3. Scegliete Visualizza, quindi scegliete Visualizzazione principale.

  4. Per le impostazioni del progetto, scegli la scheda Migrazione dei dati. Scegli Usa il partizionamento automatico. Per i database di origine Greenplum e Netezza, inserisci la dimensione minima delle tabelle supportate in megabyte (ad esempio, 100). AWS SCT crea automaticamente sottoattività di migrazione separate per ogni partizione nativa che non sia vuota. Per le migrazioni da Oracle ad Amazon Redshift, AWS SCT crea sottoattività per tutte le tabelle partizionate.

  5. Nel pannello di sinistra che mostra lo schema dal database di origine, scegli uno schema. Apri il menu contestuale (fai clic con il pulsante destro del mouse) per l'oggetto e scegli Raccogli statistiche. Per la migrazione dei dati da Oracle ad Amazon Redshift, puoi saltare questo passaggio.

  6. Scegli tutte le tabelle da migrare.

  7. Registra il numero richiesto di agenti. Per ulteriori informazioni, consulta Registrazione degli agenti di estrazione con AWS Schema Conversion Tool.

  8. Crea un'attività di estrazione dei dati per le tabelle selezionate. Per ulteriori informazioni, consulta Creazione, esecuzione e monitoraggio di un'attività di estrazione dei dati AWS SCT.

    Controlla se le tabelle di grandi dimensioni sono suddivise in sottoattività e che ciascuna sottoattività corrisponda al set di dati che presenta una parte della tabella situata su una sezione del data warehouse di origine.

  9. Avvia e monitora il processo di migrazione fino a quando gli agenti di estrazione AWS SCT dei dati non completano la migrazione dei dati dalle tabelle di origine.

Migrazione dei LOB su Amazon Redshift

Amazon Redshift non supporta lo storage di oggetti binari di grandi dimensioni (LOB). Tuttavia, se devi migrare uno o più LOB su Amazon Redshift AWS SCT , puoi eseguire la migrazione. A tale scopo, AWS SCT utilizza un bucket Amazon S3 per archiviare i LOB e scrive l'URL del bucket Amazon S3 nei dati migrati archiviati in Amazon Redshift.

Per migrare i LOB su Amazon Redshift
  1. Aprire un progetto. AWS SCT

  2. Esegui la connessione ai database di origine e di destinazione. Aggiorna i metadati dal database di destinazione e assicurati che le tabelle convertite esistano lì.

  3. Per Azioni, scegli Crea attività locale.

  4. Per la modalità di migrazione, scegli una delle seguenti opzioni:

    • Estrai e carica per estrarre i tuoi dati e carica i tuoi dati su Amazon S3.

    • Estrai, carica e copia per estrarre i tuoi dati, carica i dati su Amazon S3 e copiali nel tuo data warehouse Amazon Redshift.

  5. Scegli le impostazioni di Amazon S3.

  6. Per la cartella LOB del bucket Amazon S3, inserisci il nome della cartella in un bucket Amazon S3 in cui desideri archiviare i LOB.

    Se utilizzi il profilo di AWS servizio, questo campo è facoltativo. AWS SCT puoi utilizzare le impostazioni predefinite del tuo profilo. Per utilizzare un altro bucket Amazon S3, inserisci il percorso qui.

  7. Attiva l'opzione Usa proxy per utilizzare un server proxy per caricare dati su Amazon S3. Quindi scegli il protocollo di trasferimento dati, inserisci il nome host, la porta, il nome utente e la password.

  8. Per il tipo di endpoint, scegli FIPS per utilizzare l'endpoint FIPS (Federal Information Processing Standard). Scegli VPCE per utilizzare l'endpoint del cloud privato virtuale (VPC). Quindi, per l'endpoint VPC, inserisci il Domain Name System (DNS) del tuo endpoint VPC.

  9. Attiva l'opzione Keep files on Amazon S3 dopo averli copiati su Amazon Redshift per conservare i file estratti su Amazon S3 dopo averli copiati su Amazon Redshift.

  10. Scegli Create (crea) per creare l'attività.

Migliori pratiche e risoluzione dei problemi per gli agenti di estrazione dei dati

Di seguito sono elencati alcuni suggerimenti per la risoluzione dei problemi e best practice per l'utilizzo degli agenti di estrazione.

Problema Suggerimenti sulla risoluzione dei problemi

Le prestazioni sono lente

Per migliorare le prestazioni, ti consigliamo di attenerti alle seguenti indicazioni:

  • Installa più agenti.

  • Installa agenti su computer in prossimità del data warehouse.

  • Non eseguire tutte le tabelle su una sola attività dell'agente.

Ritardi dovuti a conflitti

Evita la presenza di troppi agenti che accedono al tuo data warehouse nello stesso momento.

Un agente non è temporaneamente disponibile

Se un agente non è disponibile, lo stato di ogni sua attività viene visualizzato come non riuscito in AWS SCT. Se attendi, in alcuni casi l'agente è in grado di tornare disponibile. In questo caso, lo stato delle sue attività si aggiorna in AWS SCT.

Un agente non è disponibile in modo permanente

Se il computer che esegue un agente diventa non disponibile in modo permanente e tale agente sta eseguendo un'attività, puoi sostituirlo con un nuovo agente per continuare l'attività. Puoi sostituire un nuovo agente solo se la cartella di lavoro dell'agente originale non era nello stesso computer dell'agente originale. Per sostituire un nuovo agente, esegui le operazioni indicate di seguito:

  • Installa un agente su un nuovo computer.

  • Configura il nuovo agente con le stesse impostazioni, compresi il numero di porta e la cartella di lavoro, come fosse l'agente originale.

  • Avviare l'agente. Dopo che l'agente viene avviato, l'attività individua il nuovo agente disponibile e continua l'esecuzione sul nuovo agente.