Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Supongamos que tiene un clúster de Apache Kafka llamado CLUSTER_ONPREM. Dicho clúster se rellena con temas y datos. Si desea migrar dicho clúster a un nuevo clúster de Amazon MSK llamado CLUSTER_AWSMSK, este procedimiento ofrece una gran perspectiva de los pasos que debe seguir.
Migración de su clúster de Apache Kafka existente a Amazon MSK
-
En
CLUSTER_AWSMSK, cree todos los temas que desee migrar.No puede utilizar MirrorMaker este paso porque no vuelve a crear automáticamente los temas que desea migrar con el nivel de replicación adecuado. Puede crear los temas en Amazon MSK con los mismos factores de replicación y números de particiones que tuviesen en
CLUSTER_ONPREM. También puede crear los temas con distintos factores de replicación y números de particiones. -
Comience MirrorMaker desde una instancia que tenga acceso de lectura
CLUSTER_ONPREMy acceso de escritura.CLUSTER_AWSMSK -
Ejecute el siguiente comando para duplicar todos los temas:
<path-to-your-kafka-installation>/bin/kafka-mirror-maker.sh --consumer.config config/mirrormaker-consumer.properties --producer.config config/mirrormaker-producer.properties --whitelist '.*'En este comando,
config/mirrormaker-consumer.propertiesseñala a un agente de arranque enCLUSTER_ONPREM, por ejemplo,bootstrap.servers=localhost:9092. Yconfig/mirrormaker-producer.propertiesapunta a un agente de arranque en CLUSTER_AWSMSK; por ejemplo,.bootstrap.servers=10.0.0.237:9092,10.0.2.196:9092,10.0.1.233:9092 -
Siga MirrorMaker ejecutándose en segundo plano y continúe usándolo.
CLUSTER_ONPREMMirrorMaker refleja todos los datos nuevos. -
Compruebe el progreso de la duplicación inspeccionando el desfase entre el último desfase de cada tema y el desfase actual que se MirrorMaker está consumiendo.
Recuerde que MirrorMaker se trata simplemente de utilizar un consumidor y un productor. Por lo tanto, puede comprobar el intervalo utilizando la herramienta
kafka-consumer-groups.sh. Para localizar el nombre del grupo de consumidores, mire en el archivomirrormaker-consumer.propertiespara elgroup.idy utilice su valor. Si en el archivo no se encuentra dicha clave, puede crearla. Por ejemplo, establezcagroup.id=mirrormaker-consumer-group. -
Cuando MirrorMaker termine de reflejar todos los temas, detenga a todos los productores y consumidores y, a continuación, pare. MirrorMaker A continuación, redirija a los productores y los consumidores al clúster de
CLUSTER_AWSMSKcargando los valores de los agentes de arranque de sus productores y consumidores. Reinicie todos los productores y consumidores enCLUSTER_AWSMSK.
