Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Utilizzo di Amazon RDS: zero ETL integrazioni con Amazon Redshift
ETL È una soluzione completamente gestita per rendere disponibili i dati transazionali in Amazon Redshift dopo averli scritti su un cluster di RDSdatabase DB. Extract, transform e load (ETL) è il processo di combinazione di dati provenienti da più fonti in un grande data warehouse centrale.
Un'ETLintegrazione zero rende i dati del RDSdatabase del disponibili in Amazon Redshift quasi in tempo reale. Una volta che i dati sono in Amazon Redshift, puoi potenziare i tuoi carichi di lavoro di analisi, ML e intelligenza artificiale utilizzando le funzionalità integrate di Amazon Redshift, come apprendimento automatico, viste materializzate, condivisione dei dati, accesso federato a più data store e data lake e integrazioni con Amazon, Amazon e altri SageMaker QuickSight Servizi AWS.
Per creare un'ETLintegrazione zero, specifichi un come origine e un data warehouse Amazon Redshift come destinazione. L'integrazione replica i dati dal database di origine nel data warehouse di destinazione.
Il diagramma seguente illustra questa funzionalità.
L'integrazione monitora lo stato della pipeline dei dati ed esegue il ripristino in caso di problemi quando possibile. Puoi creare integrazioni da più RDSdatabase (cluster ) in un unico namespace Amazon Redshift, che ti consente di ricavare informazioni su più applicazioni.
Argomenti
- Vantaggi
- Concetti chiave
- Limitazioni
- Quote
- Regioni supportate
- Guida introduttiva alle ETL integrazioni zero di Amazon RDS con Amazon Redshift
- Creazione di ETL integrazioni zero di Amazon RDS con Amazon Redshift
- Filtraggio dei dati per le integrazioni zero di Amazon RDS con Amazon ETL Redshift
- Aggiungere dati a un RDSdatabase di origine () e interrogarli in Amazon Redshift
- Visualizzazione e monitoraggio delle ETL integrazioni zero di Amazon RDS con Amazon Redshift
- Modifica delle integrazioni zero di Amazon RDS con Amazon ETL Redshift
- Eliminazione delle integrazioni zero di Amazon RDS con Amazon ETL Redshift
- Risoluzione dei problemi delle ETL integrazioni zero di Amazon RDS con Amazon Redshift
Vantaggi
RDSETLLe integrazioni zero di con Amazon Redshift offrono i seguenti vantaggi:
-
Ti consentono di ottenere approfondimenti di tipo olistico da più origini dati.
-
Elimina la necessità di creare e mantenere pipeline di dati complesse che eseguono operazioni di estrazione, trasformazione e caricamento (). ETL ETLLe integrazioni zero eliminano le sfide legate alla creazione e alla gestione delle pipeline fornendole e gestendole al posto tuo.
-
Ti consentono di ridurre il carico e i costi operativi e di concentrarti sul miglioramento delle applicazioni.
-
Consenti di sfruttare le funzionalità di analisi e ML di Amazon Redshift per ricavare informazioni dettagliate da dati transazionali e di altro tipo, per rispondere efficacemente a eventi critici e urgenti.
Concetti chiave
Quando inizi con le ETL integrazioni zero, considera i seguenti concetti:
- Integrazione
-
Una pipeline di dati completamente gestita che replica automaticamente i dati e gli schemi transazionali da un data warehouse Amazon Redshift.
-
Il da cui vengono replicati i dati. È possibile specificare un'istanza DB Single-AZ o Multi-AZ oppure un cluster DB Multi-AZ.
- Data warehouse di destinazione
-
Si tratta del data warehouse di Amazon Redshift in cui viene eseguita la replica dei dati. Esistono due tipi di data warehouse: un data warehouse con cluster con provisioning e un data warehouse serverless. Un data warehouse con cluster con provisioning è costituito da un insieme di risorse di calcolo denominate nodi, strutturate in un gruppo denominato cluster. Un data warehouse serverless è composto da un gruppo di lavoro che archivia le risorse di calcolo e da un spazio dei nomi che ospita gli oggetti e gli utenti del database. Entrambi i data warehouse utilizzano un motore Amazon Redshift e contengono uno o più database.
I di più database di origine possono scrivere sulla stessa destinazione.
Per ulteriori informazioni sui nodi principali e sui nodi di calcolo, consulta Architettura del sistema di data warehouse nella Guida per sviluppatori di database di Amazon Redshift.
Limitazioni
Le seguenti limitazioni si applicano alle ETL integrazioni zero di RDS con Amazon Redshift.
Limitazioni generali
-
Il del database di origine deve trovarsi nella stessa regione del data warehouse Amazon Redshift di destinazione.
-
Non puoi rinominare un se dispone di integrazioni esistenti.
-
Non è possibile creare più integrazioni tra gli stessi database di origine e di destinazione.
-
Non è possibile eliminare un di database con integrazioni esistenti. Devi prima eliminare tutte le integrazioni associate.
-
-
Non è possibile eliminare un'integrazione se il database di origine è interrotto.
-
Se il di database è all'origine di una distribuzione blu/verde, gli ambienti blu e verde non possono avere ETL integrazioni zero esistenti durante lo switchover. Occorre eliminare l'integrazione, eseguire lo switchover e poi ricrearla.
-
Non è possibile creare un'integrazione per un database di origine in cui viene creata attivamente un'altra integrazione.
-
Durante la fase iniziale della creazione di un'integrazione o quando una tabella viene risincronizzata, il seeding dei dati dall'origine alla destinazione può richiedere 20-25 minuti o più, a seconda delle dimensioni del database di origine. Questo ritardo può portare a un aumento del ritardo di replica.
-
Alcuni tipi di dati non sono supportati. Per ulteriori informazioni, consulta Differenze tra i tipi di dati tra RDS e Amazon Redshift.
-
Le transazioni XA non sono supportate.
-
Gli identificatori di oggetto, inclusi il nome del database, il nome della tabella, i nomi delle colonne e altri, possono contenere solo caratteri alfanumerici, numeri, $ e _ (carattere di sottolineatura).
-
Le tabelle di sistema, le tabelle temporanee e le viste non vengono replicate su Amazon Redshift.
RDSper My SQL Le mie limitazioni SQL
-
Il database di origine deve eseguire una versione supportata di RDS for MySQL. Per un elenco delle versioni supportate, consulta Regioni e motori DB supportati per le ETL integrazioni RDS zero di Amazon con Amazon Redshift.
-
ETLLe integrazioni zero si basano su My SQL binary logging (binlog) per acquisire le continue modifiche ai dati. Non utilizzare il filtraggio dei dati basato su binlog, poiché può causare incongruenze di dati tra i database di origine e di destinazione.
-
ETLLe integrazioni zero sono supportate solo per i database configurati per utilizzare il motore di archiviazione InnoDB.
-
I riferimenti a chiavi esterne con aggiornamenti di tabella predefiniti non sono supportati. In particolare,
ON DELETE
leON UPDATE
regole non sono supportate conCASCADE
SET NULL
, eSET DEFAULT
le azioni. Se si tenta di creare o aggiornare una tabella con tali riferimenti a un'altra tabella, la tabella entrerà in uno stato di errore. -
ALTER TABLE
le operazioni di partizione provocano la risincronizzazione della tabella per ricaricare i dati da RDS ad Amazon Redshift. La tabella non sarà disponibile per l'interrogazione durante la risincronizzazione. Per ulteriori informazioni, consulta Una o più tabelle Amazon Redshift richiedono una risincronizzazione.
Limitazioni di Amazon Redshift
Per un elenco delle limitazioni di Amazon Redshift relative alle ETL integrazioni zero, consulta Considerazioni nella Amazon Redshift Management Guide.
Quote
Il tuo account ha le seguenti quote relative alle integrazioni zero di RDS con Amazon ETL Redshift. Salvo dove diversamente specificato, ogni quota fa riferimento a una Regione specifica.
Nome | Predefinito | Descrizione |
---|---|---|
Integrazioni | 100 | Il numero totale di integrazioni all'interno di un Account AWS. |
Integrazioni per data warehouse di destinazione | 50 | Numero di integrazioni che inviano dati a un unico data warehouse Amazon Redshift di destinazione. |
Integrazioni per istanza di origine | 5 5 Postgre SQL |
Inoltre, Amazon Redshift pone determinati limiti al numero di tabelle consentite in ogni istanza database o nodo del cluster. Per ulteriori informazioni, consulta Quote e limiti in Amazon Redshift nella Guida alla gestione di Amazon Redshift.
Regioni supportate
RDSETLLe integrazioni zero di con Amazon Redshift sono disponibili in un sottoinsieme di Regioni AWS. Per un elenco delle regioni supportate, consulta Regioni e motori DB supportati per le ETL integrazioni RDS zero di Amazon con Amazon Redshift.