Prerequisiti per utilizzare il database come fonte

Crea una tabella di filigrane istantanee con le autorizzazioni corrette — Per la copia iniziale (istantanea) dei dati nelle tabelle, Firehose utilizza un approccio di copia incrementale con filigrane per tenere traccia dell'avanzamento. Questo approccio di copia incrementale aiuta a riprendere la copia dal punto in cui si era interrotta piuttosto che a riacquisire la tabella in caso di interruzioni. Firehose utilizza la tabella delle filigrane nel database per memorizzare le filigrane richieste. Firehose necessita di una tabella di filigrane per ogni stream Firehose. Se la tabella non è già stata creata prima della creazione del flusso Firehose, Firehose crea questa tabella come parte della creazione del flusso. È necessario fornire le autorizzazioni corrette a Firehose per creare questa tabella.

Creare un utente del database: Firehose richiede un account utente del database con le autorizzazioni giuste per creare la copia iniziale delle tabelle, leggere CDC gli eventi dai registri delle transazioni, accedere alla tabella delle filigrane e creare una tabella di filigrana se non è già stata creata. Utilizzerai questo nome utente e password del database come parte delle credenziali Firehose per connetterti al tuo database durante la configurazione dello stream.

Abilita i registri delle transazioni: i registri delle transazioni registrano tutte le modifiche al databaseINSERT, ad esempioUPDATE, e DELETE nell'ordine in cui sono state salvate nel database. Firehose legge i log delle transazioni e replica le modifiche alle tabelle Apache Iceberg. È necessario abilitare i log delle transazioni se non sono abilitati.

Aggiungi una regola in entrata e in uscita: per consentire la connettività privata ai database, devi aggiungere una regola in entrata e una regola in uscita per il HTTPS traffico e una regola in entrata per il traffico di database (My SQL o PostgreSQL) nel gruppo di sicurezza del database. VPC Per la colonna di origine, usa range of your. IPv4 CIDR VPC

Questi passaggi si applicano anche ai database in esecuzione suEC2.

È necessario aumentare il timeout della funzione Lambda utilizzata in questo esempio dai valori predefiniti di 3 secondi a 5 minuti.

Prima di eseguire la funzione Lambda per aggiornare l'indirizzo IP dell'istanza primaria in Network Load Balancer, è necessario creare VPC un endpoint AWS con il nome del servizio com.amazonaws.us-east-1.elasticloadbalancing come all'interno del databaseVPC, in modo che Lambda possa comunicare con il servizio Elastic Load Balancing. AWS

È necessario consentire al gestore del servizio Firehose di firehose.amazonaws.com creare un AWS PrivateLink elenco sul proprio. VPC Per ulteriori informazioni, consulta Gestire le autorizzazioni. Non aggiungere il ruolo ARN di servizio di questo. Aggiungi solo firehose.amazonaws.com ai principi di autorizzazione.

Devi consentire al servizio endpoint di accettare automaticamente le richieste di connessione, assicurandoti di disabilitare l'opzione Acceptance Required tramite AmazonVPC. Ciò consente a Firehose di creare la connessione endpoint necessaria senza alcun intervento manuale. Per ulteriori informazioni su come disabilitare la richiesta di connessione, consulta Accettare o rifiutare le richieste di connessione.