View a markdown version of this page

Esegui la migrazione da cluster Apache Kafka non MSK a broker Amazon MSK Express - Amazon Managed Streaming per Apache Kafka

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esegui la migrazione da cluster Apache Kafka non MSK a broker Amazon MSK Express

Puoi utilizzare MSK Replicator per migrare i carichi di lavoro Apache Kafka da ambienti autogestiti a cluster Amazon MSK Provisioned con broker Express. MSK Replicator supporta la migrazione dei dati da implementazioni Kafka (Kafka versione 2.8.1 o successiva) con autenticazione TLS reciproca (mTLS) abilitata. SASL/SCRAM

Nota

SASL/SCRAM o l'autenticazione mTLS è richiesta solo per consentire a MSK Replicator di connettersi al cluster Kafka autogestito. Le applicazioni client possono continuare a utilizzare i meccanismi di autenticazione esistenti.

Prerequisiti

Prima di iniziare, assicurati di disporre di quanto segue:

  1. Cluster Apache Kafka di origine con versione 2.8.1 o successiva

  2. SASL/SCRAM o l'autenticazione mTLS è abilitata sul cluster di origine

  3. Crittografia SSL configurata sul cluster di origine

  4. Connettività di rete tramite AWS Site-to-Site VPN o AWS Direct Connect

  5. Sottoreti VPC configurate per l'accesso a Secrets Manager

Per istruzioni dettagliate, vedi Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 1: creare un cluster Amazon MSK Express

Crea un cluster MSK Provisioned con broker Express con autenticazione IAM abilitata. Almeno tre broker in tre AZ. Per informazioni, consulta Preparare il cluster di destinazione.

Fase 2: Creare un ruolo di esecuzione IAM

Allega la policy AWSMSKReplicatorExecutionRole gestita e configura la policy di fiducia perkafka.amazonaws.com. Aggiungi autorizzazioni in linea per AWS Secrets Manager (e AWS KMS se i tuoi segreti lo sono CMK-encrypted) per. Autorizzazioni SER aggiuntive per SASL/SCRAM MTL e chiavi gestite dal cliente Per informazioni, consulta Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 3: Configurare SASL/SCRAM o MTLS e SSL su un cluster autogestito

Configura l'autenticazione sul tuo cluster autogestito. Per SASL/SCRAM, crea un utente SCRAM dedicato con le autorizzazioni ACL richieste. Per MTL, configura un listener SSL con autenticazione tramite certificato client. Configura i certificati SSL. Per informazioni, consulta Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 4: Archivia le credenziali in AWS Secrets Manager

Crea un segreto con le coppie chiave-valore appropriate per il tuo tipo di autenticazione. Per SASL/SCRAMusername, includi e password certificate campi. Per gli MTL, include certificate e privateKey fields (e facoltativamente privateKeyPassword per le chiavi private crittografate). Per informazioni, consulta Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 5: Creare il Replicator

Utilizza l'CreateReplicatorAPI con posizione EARLIEST iniziale, replica identica del nome dell'argomento e synchroniseConsumerGroupOffsets imposta su. true Il principale IAM che effettua la chiamata CreateReplicator deve disporre delle autorizzazioni di chiamata API descritte in. Autorizzazioni IAM necessarie per creare un replicatore MSK Se prevedi di configurare la replica bidirezionale per la funzionalità di rollback (Fase 6), impostala anche ENHANCED sui replicatori consumerGroupOffsetSyncMode diretti e inversi. Attendere circa 30 minuti affinché il Replicator raggiunga lo stato RUNNING. Per informazioni, consulta CreateReplicator Esempi di API per cluster Kafka autogestiti.

Fase 6: (Facoltativo) Impostazione della replica bidirezionale

Crea un replicatore inverso dal cluster MSK Express al cluster autogestito per le funzionalità di rollback. Per informazioni, consulta CreateReplicator Esempi di API per cluster Kafka autogestiti.

Fase 7: Monitoraggio dell'avanzamento della replica

Monitora le seguenti metriche:

  • MessageLag(dovrebbe raggiungere 0)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure(dovrebbe essere 0)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) e OffsetLag (Non-MSK Cluster)

Per ulteriori informazioni, consulta Monitoraggio della replica.

Fase 8: Migrazione delle applicazioni

Segui questi passaggi per migrare le tue applicazioni:

  1. Impedisci ai produttori di scrivere su cluster autogestiti

  2. Riconfigura i produttori nel cluster MSK Express con l'autenticazione IAM

  3. Monitora MessageLag fino a raggiungere lo 0

  4. Blocca i consumatori su un cluster autogestito

  5. Riconfigurate i consumatori nel cluster MSK Express

Fase 9: (Facoltativo) Tornate al cluster autogestito

Se è stata configurata la replica bidirezionale, è possibile invertire i passaggi di migrazione per tornare al cluster autogestito. Il replicatore inverso (MSK Express → External) avrà mantenuto sincronizzato il cluster autogestito, in modo che i consumatori possano essere reindirizzati indietro senza perdita di dati.