Utilizzo di Aurora: zero ETL integrazioni con Amazon Redshift

Ti consentono di ottenere approfondimenti di tipo olistico da più origini dati.

Elimina la necessità di creare e mantenere pipeline di dati complesse che eseguono operazioni di estrazione, trasformazione e caricamento (). ETL ETLLe integrazioni zero eliminano le sfide legate alla creazione e alla gestione delle pipeline fornendole e gestendole al posto tuo.

Ti consentono di ridurre il carico e i costi operativi e di concentrarti sul miglioramento delle applicazioni.

Consenti di sfruttare le funzionalità di analisi e ML di Amazon Redshift per ricavare informazioni dettagliate da dati transazionali e di altro tipo, per rispondere efficacemente a eventi critici e urgenti.

Il cluster DB del di origine deve trovarsi nella stessa regione del data warehouse Amazon Redshift di destinazione.

Non puoi rinominare un cluster DB di o una delle sue istanze se dispone di integrazioni esistenti.

Non è possibile creare più integrazioni tra gli stessi database di origine e di destinazione.

Non è possibile eliminare un cluster DB di integrazioni esistenti. Devi prima eliminare tutte le integrazioni associate.

Se il cluster di è all'origine di una distribuzione blu/verde, gli ambienti blu e verde non possono avere ETL integrazioni zero esistenti durante lo switchover. Occorre eliminare l'integrazione, eseguire lo switchover e poi ricrearla.

Un cluster DB deve contenere almeno un'istanza DB per essere la fonte di un'integrazione.

Se il cluster di origine è il cluster database primario in un database globale Aurora e esegue il failover su uno dei relativi cluster secondari, l'integrazione diventa inattiva. È necessario eliminare e ricreare l'integrazione.

Non è possibile creare un'integrazione per un database di origine in cui viene creata attivamente un'altra integrazione.

Durante la fase iniziale della creazione di un'integrazione o quando una tabella viene risincronizzata, il seeding dei dati dall'origine alla destinazione può richiedere 20-25 minuti o più, a seconda delle dimensioni del database di origine. Questo ritardo può portare a un aumento del ritardo di replica.

Alcuni tipi di dati non sono supportati. Per ulteriori informazioni, consulta Differenze tra i tipi di dati tra i database Aurora e Amazon Redshift.

Le transazioni XA non sono supportate.

Gli identificatori di oggetto, inclusi il nome del database, il nome della tabella, i nomi delle colonne e altri, possono contenere solo caratteri alfanumerici, numeri, $ e _ (carattere di sottolineatura).

Le tabelle di sistema, le tabelle temporanee e le viste non vengono replicate su Amazon Redshift.

Il cluster DB di origine deve eseguire una versione supportata di Aurora My. SQL Per un elenco delle versioni supportate, consulta Regioni supportate e motori Aurora DB per zero ETL integrazioni con Amazon Redshift.

ETLLe integrazioni zero si basano su My SQL binary logging (binlog) per acquisire le continue modifiche ai dati. Non utilizzare il filtraggio dei dati basato su binlog, poiché può causare incongruenze di dati tra i database di origine e di destinazione.

ETLLe integrazioni zero sono supportate solo per i database configurati per utilizzare il motore di archiviazione InnoDB.

I riferimenti a chiavi esterne con aggiornamenti di tabella predefiniti non sono supportati. In particolare, ON DELETE le ON UPDATE regole non sono supportate con CASCADESET NULL, e SET DEFAULT le azioni. Se si tenta di creare o aggiornare una tabella con tali riferimenti a un'altra tabella, la tabella entrerà in uno stato di errore.

ALTER TABLEle operazioni di partizione provocano la risincronizzazione della tabella per ricaricare i dati da Aurora ad Amazon Redshift. La tabella non sarà disponibile per l'interrogazione durante la risincronizzazione. Per ulteriori informazioni, consulta Una o più tabelle Amazon Redshift richiedono una risincronizzazione.

Il cluster DB di origine deve eseguire Aurora Postgre SQL (compatibile con Postgre 15.4 SQL e Zero- Support). ETL

Puoi creare e gestire ETL integrazioni zero per Aurora SQL Postgre solo nell'RDSAmazon Database Preview Environment, negli Stati Uniti orientali (Ohio) (us-east-2) Regione AWS. Puoi utilizzare l'ambiente di anteprima per testare le versioni beta, release candidate e prime di produzione del software del motore di SQL database Postgre.

Puoi creare e gestire integrazioni per Aurora SQL Postgre solo utilizzando AWS Management Console. Non puoi usare il AWS Command Line Interface (AWS CLI) RDSAPI, Amazon o uno qualsiasi dei AWS SDKs.

Quando crei un cluster DB di origine, il gruppo di parametri scelto deve avere già configurati i valori dei parametri del cluster DB richiesti. Non è possibile creare successivamente un nuovo gruppo di parametri e associarlo al cluster. Per un elenco dei parametri richiesti, vedereFase 1: creazione di un gruppo di parametri del cluster DB personalizzato.

Non puoi modificare un'integrazione dopo averla creata. Se è necessario modificare determinate impostazioni, è necessario eliminare e ricreare l'integrazione.

Attualmente, i cluster Aurora Postgre SQL DB che sono l'origine di un'integrazione non eseguono la raccolta inutile di dati di replica logica.

Tutti i database creati all'interno del cluster Aurora Postgre SQL DB di origine devono utilizzare la codifica -8. UTF

ETLLe integrazioni zero con Aurora SQL Postgre non supportano quanto segue: