View a markdown version of this page

Migrieren Sie von Apache Kafka-Clustern, die nicht von MSK stammen, zu Amazon MSK Express-Brokern - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Migrieren Sie von Apache Kafka-Clustern, die nicht von MSK stammen, zu Amazon MSK Express-Brokern

Sie können MSK Replicator verwenden, um Apache Kafka-Workloads von selbstverwalteten Umgebungen auf von Amazon MSK bereitgestellte Cluster mit Express-Brokern zu migrieren. MSK Replicator unterstützt die Datenmigration aus Kafka-Bereitstellungen (Kafka-Version 2.8.1 oder höher), bei denen die Authentifizierung aktiviert ist. SASL/SCRAM

Anmerkung

Die SASL/SCRAM-Authentifizierung ist nur erforderlich, damit MSK Replicator eine Verbindung zu Ihrem selbstverwalteten Kafka-Cluster herstellen kann. Ihre Client-Anwendungen können weiterhin ihre bestehenden Authentifizierungsmechanismen verwenden.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

  1. Quell-Apache Kafka-Cluster mit Version 2.8.1 oder höher

  2. Die SASL/SCRAM-Authentifizierung ist auf dem Quellcluster aktiviert

  3. Die SSL-Verschlüsselung ist auf dem Quellcluster konfiguriert

  4. Netzwerkkonnektivität über AWS Site-to-Site VPN oder AWS Direct Connect

  5. Für den Secrets Manager Manager-Zugriff konfigurierte VPC-Subnetze

Detaillierte Anweisungen finden Sie unter Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 1: Erstellen Sie einen Amazon MSK Express-Cluster

Erstellen Sie einen von MSK bereitgestellten Cluster mit Express-Brokern mit aktivierter IAM-Authentifizierung. Mindestens drei Broker von drei. AZs Siehe Bereiten Sie den Zielcluster vor.

Schritt 2: Erstellen Sie eine IAM-Ausführungsrolle

Richtlinien anhängen AWSMSKReplicatorExecutionRole und AWSSecretsManagerClientReadOnlyAccess verwalten. Konfigurieren Sie die Vertrauensrichtlinie fürkafka.amazonaws.com. Siehe Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 3: Konfiguration SASL/SCRAM und SSL auf einem selbstverwalteten Cluster

Erstellen Sie einen dedizierten SCRAM-Benutzer mit den erforderlichen ACL-Berechtigungen. Konfigurieren Sie SSL-Zertifikate. Siehe Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 4: Anmeldeinformationen in AWS Secrets Manager speichern

Erstellen Sie ein Geheimnis mit username certificate Schlüssel-Wert-Paaren. password Siehe Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 5: Erstellen Sie den Replikator

Verwenden Sie die CreateReplicator API mit EARLIEST Startposition, Replikation mit identischem Themennamen und der synchroniseConsumerGroupOffsets Einstellung auftrue. Wenn Sie beabsichtigen, die bidirektionale Replikation für die Rollback-Funktion einzurichten (Schritt 6), stellen consumerGroupOffsetSyncMode Sie die Option sowohl für den Vorwärts- als auch für den Rückwärtsreplikator ENHANCED auf. Warten Sie etwa 30 Minuten, bis der Replikator den Status RUNNING erreicht hat. Siehe CreateReplicator API-Beispiele für selbstverwaltete Kafka-Cluster.

Schritt 6: (Optional) Richten Sie die bidirektionale Replikation ein

Erstellen Sie einen Reverse-Replikator vom MSK Express-Cluster zurück zum selbstverwalteten Cluster, um Rollback-Funktionen zu nutzen. Siehe CreateReplicator API-Beispiele für selbstverwaltete Kafka-Cluster.

Schritt 7: Überwachen Sie den Replikationsfortschritt

Überwachen Sie die folgenden Messwerte:

  • MessageLag(sollte 0 erreichen)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure(sollte 0 sein)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) und OffsetLag (Non-MSK Cluster)

Weitere Informationen finden Sie unter Überwachung einer Replikation.

Schritt 8: Anwendungen migrieren

Gehen Sie wie folgt vor, um Ihre Anwendungen zu migrieren:

  1. Halten Sie Produzenten davon ab, in selbstverwaltete Cluster zu schreiben

  2. Konfigurieren Sie die Produzenten auf den MSK Express-Cluster mit IAM-Authentifizierung neu

  3. Überwachen Sie, MessageLag bis 0 erreicht ist

  4. Stoppen Sie Verbraucher im selbstverwalteten Cluster

  5. Konfigurieren Sie die Verbraucher auf den MSK Express-Cluster neu

Schritt 9: (Optional) Führen Sie ein Rollback zum selbstverwalteten Cluster durch

Wenn die bidirektionale Replikation konfiguriert wurde, können Sie die Migrationsschritte rückgängig machen, um zum selbstverwalteten Cluster zurückzukehren. Der Reverse-Replikator (MSK Express → Extern) hat den selbstverwalteten Cluster synchron gehalten, sodass Benutzer ohne Datenverlust zurückgeleitet werden können.