View a markdown version of this page

Migre de clústeres de Apache Kafka que no son de MSK a corredores de Amazon MSK Express - Transmisión administrada de Amazon para Apache Kafka

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Migre de clústeres de Apache Kafka que no son de MSK a corredores de Amazon MSK Express

Puede usar MSK Replicator para migrar cargas de trabajo de Apache Kafka desde entornos autogestionados a clústeres aprovisionados de Amazon MSK con agentes Express. MSK Replicator admite la migración de datos desde las implementaciones de Kafka (versión 2.8.1 o posterior de Kafka) que tienen habilitada la autenticación TLS mutua (mTLS) o la autenticación TLS mutua (mTLS). SASL/SCRAM

nota

SASL/SCRAM o la autenticación mTLS solo es necesaria para que MSK Replicator se conecte a su clúster Kafka autogestionado. Las aplicaciones cliente pueden seguir utilizando sus mecanismos de autenticación existentes.

Requisitos previos

Antes de comenzar, asegúrese de que dispone de lo siguiente:

  1. Clúster Apache Kafka de origen que ejecuta la versión 2.8.1 o posterior

  2. SASL/SCRAM o la autenticación mTLS está habilitada en el clúster de origen

  3. El cifrado SSL está configurado en el clúster de origen

  4. Conectividad de red mediante AWS Site-to-Site VPN o AWS Direct Connect

  5. Subredes de VPC configuradas para el acceso a Secrets Manager

Para obtener instrucciones detalladas, consulte Configure los requisitos previos para MSK Replicator con clústeres de Apache Kafka autogestionados.

Paso 1: Crear un clúster de Amazon MSK Express

Cree un clúster aprovisionado por MSK con Express Brokers con la autenticación de IAM habilitada. Mínimo tres corredores en tres zonas de disponibilidad. Consulte Prepare el clúster de destino.

Paso 2: Crear una función de ejecución de IAM

Adjunte la política AWSMSKReplicatorExecutionRole gestionada y configure la política de confianza parakafka.amazonaws.com. Agregue permisos en línea para AWS Secrets Manager (y AWS KMS si sus secretos lo son CMK-encrypted) per. Permisos de SER adicionales para las claves SASL/SCRAM administradas por el cliente y las MTL Consulte Configure los requisitos previos para MSK Replicator con clústeres de Apache Kafka autogestionados.

Paso 3: Configurar SASL/SCRAM o mTLS y SSL en un clúster autogestionado

Configure la autenticación en su clúster autogestionado. Para ello SASL/SCRAM, cree un usuario de SCRAM dedicado con los permisos de ACL necesarios. Para los mTLS, configure un agente de escucha SSL con autenticación mediante certificado de cliente. Configure los certificados SSL. Consulte Configure los requisitos previos para MSK Replicator con clústeres de Apache Kafka autogestionados.

Paso 4: Almacene las credenciales en AWS Secrets Manager 

Cree un secreto con los pares clave-valor adecuados para su tipo de autenticación. Para SASL/SCRAMusername, incluya y password campos. certificate En el caso de los MTL, incluya privateKey los campos certificate y (de forma opcionalprivateKeyPassword, las claves privadas cifradas). Consulte Configure los requisitos previos para MSK Replicator con clústeres de Apache Kafka autogestionados.

Paso 5: Crear el replicador

Utilice la CreateReplicator API con la posición EARLIEST inicial, la replicación del nombre del tema idéntica y configúrela synchroniseConsumerGroupOffsets true en. El principio de IAM al que se llama CreateReplicator debe tener los permisos de llamada a la API descritos en. Permisos de IAM obligatorios para crear un Replicador MSK Si planea configurar la replicación bidireccional para obtener la capacidad de reversión (paso 6), configúrela también ENHANCED en consumerGroupOffsetSyncMode los replicadores directos e inversos. Espere aproximadamente 30 minutos para que el replicador alcance el estado EN FUNCIONAMIENTO. Consulte CreateReplicator Ejemplos de API para clústeres de Kafka autogestionados.

Paso 6: (opcional) Configurar la replicación bidireccional

Cree un replicador inverso desde el clúster de MSK Express hasta el clúster autogestionado para obtener las capacidades de reversión. Consulte CreateReplicator Ejemplos de API para clústeres de Kafka autogestionados.

Paso 7: Supervise el progreso de la replicación

Supervise las siguientes métricas:

  • MessageLag(debería llegar a 0)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure(debería ser 0)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) y OffsetLag (Non-MSK Cluster)

Para obtener más información, consulte Supervisar la replicación.

Paso 8: migrar aplicaciones

Siga estos pasos para migrar sus aplicaciones:

  1. Impida que los productores escriban en un clúster autogestionado

  2. Reconfigure los productores en el clúster de MSK Express con autenticación de IAM

  3. Supervise MessageLag hasta que llegue a 0

  4. Detenga a los consumidores en un clúster autogestionado

  5. Reconfigure a los consumidores en el clúster de MSK Express

Paso 9: (opcional) Volver al clúster autogestionado

Si se configuró la replicación bidireccional, puede revertir los pasos de migración para volver al clúster autogestionado. El replicador inverso (MSK Express → Externo) habrá mantenido sincronizado el clúster autogestionado, de forma que los consumidores puedan volver a ser redirigidos sin pérdida de datos.