Solución de problemas del Replicador MSK

Compruebe que los grupos de seguridad proporcionados para la creación del replicador en la sección del clúster de destino tengan reglas de salida que permitan el tráfico a los grupos de seguridad del clúster de destino. Además, compruebe que los grupos de seguridad del clúster de destino tengan reglas de entrada que acepten el tráfico de los grupos de seguridad que proporcione para la creación del replicador en la sección del clúster de destino. Consulte Elección del clúster de destino.

Si va a crear un replicador para la replicación entre regiones, compruebe que el clúster de origen tenga activada la conectividad de varias VPC para el método de autenticación del control de acceso de IAM. Consulte Conectividad privada con varias VPC de Amazon MSK en una sola región. Compruebe también que la política de clústeres esté configurada en el clúster de origen, para que el Replicador MSK pueda conectarse al clúster de origen. Consulte Preparación del clúster de origen de Amazon MSK.

Compruebe que el rol de IAM que proporcionó durante la creación del Replicador MSK tiene los permisos necesarios para leer los clústeres de origen y destino, y para escribir en estos. Compruebe también que el rol de IAM tenga permisos para escribir en los temas. Consulte Configurar los parámetros y los permisos del replicador

Compruebe que su red ACLs no bloquee la conexión entre el MSK Replicator y los clústeres de origen y destino.

Es posible que los clústeres de origen o destino no estén completamente disponibles cuando el Replicador MSK intente conectarse a ellos. Esto puede deberse a una carga, uso del disco o de la CPU excesivos, lo que hace que el replicador no pueda conectarse a los agentes. Solucione el problema con los agentes e intente crear el replicador de nuevo.

Compruebe que su replicador no tiene ningún error de autenticación mediante la AuthError métrica proporcionada por MSK Replicator en Amazon. CloudWatch Si esta métrica es superior a 0, compruebe si la política del rol de IAM que proporcionó para el replicador es válida y que no se hayan establecido permisos de denegación para los permisos del clúster. En función de la dimensión ClusterAlias, puede identificar si el clúster de origen o de destino presenta errores de autenticación.

Compruebe que los clústeres de origen y destino no tengan ningún problema. Es posible que el replicador no pueda conectarse al clúster de origen o destino. Esto puede ocurrir debido a que hay demasiadas conexiones, el disco está al máximo de su capacidad o hay un uso elevado de la CPU.

Compruebe que se pueda acceder a los clústeres de origen y destino desde MSK Replicator mediante la métrica de Amazon KafkaClusterPingSuccessCount . CloudWatch En función de la dimensión ClusterAlias, puede identificar si el clúster de origen o de destino presenta errores de autenticación. Si el valor de esta métrica es 0 o no tiene ningún punto de datos, la conexión no funciona correctamente. Debe comprobar los permisos de la red y del rol de IAM que utiliza el Replicador MSK para conectarse a los clústeres.

Compruebe que su replicador no esté teniendo errores debido a la falta de permisos de nivel de tema utilizando la métrica ReplicatorFailure de Amazon. CloudWatch Si esta métrica es superior a 0, compruebe el rol de IAM que proporcionó para los permisos a nivel de tema.

Compruebe que la expresión regular que proporcionó en la lista de permitidos al crear el replicador coincide con los nombres de los temas que quiere replicar. Compruebe también que los temas no se excluyan de la replicación debido a una expresión regular de la lista de denegados.

Tenga en cuenta que el Replicador puede tardar hasta 30 segundos en detectar y crear los nuevos temas o particiones de temas en el clúster de destino. Cualquier mensaje generado en el tema de origen antes de que se creara el tema en el clúster de destino no se replicará si la posición inicial del Replicador es la última (opción predeterminada). Como alternativa, si desea replicar los mensajes existentes sobre sus temas en el clúster de destino, puede iniciar la replicación desde el primer desplazamiento de las particiones de temas del clúster de origen. Consulte Configurar los parámetros y los permisos del replicador.

Compruebe que la replicación de los datos funciona según lo esperado. Si no es así, consulte El Replicador MSK no replica los datos o solo replica datos parciales.

Compruebe que la expresión regular que proporcionó en la lista de permitidos al crear el Replicador coincide con los nombres de los grupos de consumidores que quiere replicar. También compruebe que los grupos de consumidores no se excluyan de la replicación debido a una expresión regular de la lista de denegados.

Compruebe que el Replicador MSK haya creado el tema en el clúster de destino. El Replicador puede tardar hasta 30 segundos en detectar y crear los nuevos temas o particiones de temas en el clúster de destino. Cualquier mensaje generado en el tema de origen antes de que se creara el tema en el clúster de destino no se replicará si la posición inicial del Replicador es la última (opción predeterminada). Si su grupo de consumidores del clúster de origen solo ha consumido los mensajes que el Replicador MSK no ha replicado, el grupo de consumidores no se replicará en el clúster de destino. Una vez que el tema se haya creado correctamente en el clúster de destino, el Replicador MSK empezará a replicar los mensajes recién escritos en el clúster de origen al clúster de destino. Una vez que su grupo de consumidores comience a leer estos mensajes del origen, el Replicador MSK replicará automáticamente el grupo de consumidores en el clúster de destino. Como alternativa, si desea replicar los mensajes existentes sobre sus temas en el clúster de destino, puede iniciar la replicación desde el primer desplazamiento de las particiones de temas del clúster de origen. Consulte Configurar los parámetros y los permisos del replicador.

Compruebe que tiene el número correcto de particiones en los clústeres de MSK de origen y destino. Tener muy pocas o demasiadas particiones puede afectar al rendimiento. Para instrucciones sobre cómo elegir el número de particiones, consulte Prácticas recomendadas para utilizar el Replicador MSK. La tabla siguiente muestra el número mínimo de particiones recomendado para obtener el rendimiento deseado con el Replicador MSK.

Compruebe que los clústeres de MSK de origen y destino tienen suficiente capacidad de lectura y escritura para admitir el tráfico de la replicación. El Replicador MSK actúa como consumidor del clúster de origen (salida) y como productor del clúster de destino (entrada). Por lo tanto, debe aprovisionar la capacidad del clúster para admitir el tráfico de la replicación, además del resto del tráfico de los clústeres. Consulte Prácticas recomendadas para utilizar el Replicador MSK para obtener orientación sobre el tamaño de los clústeres de MSK.

La latencia de replicación puede variar para los clústeres de MSK en diferentes pares de AWS regiones de origen y destino, en función de la distancia geográfica entre los clústeres. Por ejemplo, la latencia de la replicación suele ser menor cuando se replica entre clústeres de las regiones de Europa (Irlanda) y Europa (Londres), en comparación con la replicación entre clústeres de las regiones de Europa (Irlanda) y Asia-Pacífico (Sídney).

Compruebe que el replicador no se vea limitado debido a las cuotas demasiado agresivas que se establezcan en los clústeres de origen o destino. Puedes usar la ThrottleTime métrica proporcionada por MSK Replicator en Amazon CloudWatch para ver el tiempo medio en milisegundos que los agentes de tu clúster de origen/destino retrasaron una solicitud. Si esta métrica es superior a 0, debe ajustar las cuotas de Kafka para reducir las limitaciones, para que el replicador pueda recuperarse. Consulte Administración del rendimiento del Replicador MSK mediante cuotas de Kafka para obtener información sobre la administración de las cuotas de Kafka para el replicador.

ReplicationLatency y MessageLag podría aumentar cuando una región se degrada. AWS Use el Panel de estado de servicio de AWS para comprobar si hay un evento de servicio de MSK en la región en la que se encuentra el clúster principal de MSK. Si se produce un evento de servicio, puede redirigir temporalmente las lecturas y escrituras de la aplicación a la otra región.