View a markdown version of this page

Migrieren Sie von Apache Kafka-Clustern, die nicht von MSK stammen, zu Amazon MSK Express-Brokern - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Migrieren Sie von Apache Kafka-Clustern, die nicht von MSK stammen, zu Amazon MSK Express-Brokern

Sie können MSK Replicator verwenden, um Apache Kafka-Workloads von selbstverwalteten Umgebungen auf von Amazon MSK bereitgestellte Cluster mit Express-Brokern zu migrieren. MSK Replicator unterstützt die Datenmigration aus Kafka-Bereitstellungen (Kafka-Version 2.8.1 oder höher), für die die gegenseitige TLS-Authentifizierung (mTLS) aktiviert ist. SASL/SCRAM

Anmerkung

SASL/SCRAM oder mTLS-Authentifizierung ist nur erforderlich, damit MSK Replicator eine Verbindung zu Ihrem selbstverwalteten Kafka-Cluster herstellen kann. Ihre Client-Anwendungen können weiterhin ihre bestehenden Authentifizierungsmechanismen verwenden.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

  1. Quellcode-Apache Kafka-Cluster, auf dem Version 2.8.1 oder höher ausgeführt wird

  2. SASL/SCRAM oder die mTLS-Authentifizierung ist auf dem Quellcluster aktiviert

  3. Die SSL-Verschlüsselung ist auf dem Quellcluster konfiguriert

  4. Netzwerkkonnektivität über AWS Site-to-Site VPN oder AWS Direct Connect

  5. Für den Secrets Manager Manager-Zugriff konfigurierte VPC-Subnetze

Detaillierte Anweisungen finden Sie unter Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 1: Erstellen Sie einen Amazon MSK Express-Cluster

Erstellen Sie einen von MSK bereitgestellten Cluster mit Express-Brokern mit aktivierter IAM-Authentifizierung. Mindestens drei Broker in drei AZs. Siehe Bereiten Sie den Zielcluster vor.

Schritt 2: Erstellen Sie eine IAM-Ausführungsrolle

Hängen Sie die AWSMSKReplicatorExecutionRole verwaltete Richtlinie an und konfigurieren Sie die Vertrauensrichtlinie fürkafka.amazonaws.com. Fügen Sie Inline-Berechtigungen für AWS Secrets Manager (und AWS KMS falls Ihre Geheimnisse es sind CMK-encrypted) hinzuZusätzliche SER-Berechtigungen für mTLs SASL/SCRAM und vom Kunden verwaltete Schlüssel. Siehe Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 3: Konfiguration von SASL/SCRAM mTLS und SSL auf einem selbstverwalteten Cluster

Konfigurieren Sie die Authentifizierung auf Ihrem selbstverwalteten Cluster. Erstellen Sie für SASL/SCRAM einen dedizierten SCRAM-Benutzer mit den erforderlichen ACL-Berechtigungen. Für mTLS konfigurieren Sie einen SSL-Listener mit Client-Zertifikatsauthentifizierung. Konfigurieren Sie SSL-Zertifikate. Siehe Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 4: Speichern Sie die Anmeldeinformationen in AWS Secrets Manager

Erstellen Sie ein Geheimnis mit den entsprechenden Schlüssel-Wert-Paaren für Ihren Authentifizierungstyp. Felder für SASL/SCRAM, username Includepassword, undcertificate. Für mTLs die privateKey Felder include certificate und (und optional privateKeyPassword für verschlüsselte private Schlüssel). Siehe Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 5: Erstellen Sie den Replikator

Verwenden Sie die CreateReplicator API mit EARLIEST Startposition, Replikation mit identischem Themennamen und der synchroniseConsumerGroupOffsets Einstellung auftrue. Der IAM-Principal, der aufruft, CreateReplicator muss über die unter beschriebenen API-Aufruferberechtigungen verfügen. Für die Erstellung eines MSK-Replikators sind IAM-Berechtigungen erforderlich Wenn Sie beabsichtigen, die bidirektionale Replikation für die Rollback-Funktion einzurichten (Schritt 6), stellen consumerGroupOffsetSyncMode Sie außerdem die Option sowohl für den Vorwärts- als auch für den Rückwärtsreplikator ein. ENHANCED Warten Sie etwa 30 Minuten, bis der Replikator den Status RUNNING erreicht hat. Siehe CreateReplicator API-Beispiele für selbstverwaltete Kafka-Cluster.

Schritt 6: (Optional) Richten Sie die bidirektionale Replikation ein

Erstellen Sie einen Reverse-Replikator vom MSK Express-Cluster zurück zum selbstverwalteten Cluster, um Rollback-Funktionen zu nutzen. Siehe CreateReplicator API-Beispiele für selbstverwaltete Kafka-Cluster.

Schritt 7: Überwachen Sie den Replikationsfortschritt

Überwachen Sie die folgenden Messwerte:

  • MessageLag(sollte 0 erreichen)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure(sollte 0 sein)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) und OffsetLag (Non-MSK Cluster)

Weitere Informationen finden Sie unter Überwachung einer Replikation.

Schritt 8: Anwendungen migrieren

Gehen Sie wie folgt vor, um Ihre Anwendungen zu migrieren:

  1. Halten Sie Produzenten davon ab, in selbstverwaltete Cluster zu schreiben

  2. Konfigurieren Sie die Produzenten auf den MSK Express-Cluster mit IAM-Authentifizierung neu

  3. Überwachen Sie, MessageLag bis der Wert 0 erreicht

  4. Stoppen Sie die Nutzung von Verbrauchern im selbstverwalteten Cluster

  5. Konfigurieren Sie die Verbraucher auf den MSK Express-Cluster neu

Schritt 9: (Optional) Führen Sie ein Rollback zum selbstverwalteten Cluster durch

Wenn die bidirektionale Replikation konfiguriert wurde, können Sie die Migrationsschritte rückgängig machen, um zum selbstverwalteten Cluster zurückzukehren. Der Reverse-Replikator (MSK Express → Extern) hat den selbstverwalteten Cluster synchron gehalten, sodass Benutzer ohne Datenverlust zurückgeleitet werden können.