Solución de problemas de Amazon MSK Connect - Transmisión gestionadada de Amazon para Apache Kafka

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solución de problemas de Amazon MSK Connect

La siguiente información le puede ayudar a solucionar los problemas que podrían presentarse con MSK Connect. También puede publicar el problema en AWS re:Post.

Connector no puede acceder a los recursos alojados de forma pública en Internet

Consulte Habilitación del acceso a Internet para Amazon MSK Connect.

El número de tareas en ejecución de Connector no es igual al número de tareas especificadas en tasks.max

Estas son algunas de las razones por las que un conector puede usar menos tareas que la configuración de tasks.max especificada:

  • Algunas implementaciones de conectores limitan la cantidad de tareas que se pueden utilizar. Por ejemplo, el conector Debezium para MySQL se limita a utilizar una sola tarea.

  • Al utilizar el modo de escalado automático, Amazon MSK Connect anula la propiedad tasks.max del conector con un valor que es proporcional al número de procesos de trabajo que se ejecutan en el conector y al número de MCU por proceso de trabajo.

  • En el caso de los conectores de recepción, el nivel de paralelismo (número de tareas) no puede ser superior al número de particiones temáticas. Si bien puede establecer el valor tasks.max en un tamaño mayor que ese valor, una sola partición nunca es procesada por más de una tarea a la vez.

  • En Kafka Connect 2.7.x, el asignador de particiones de consumo predeterminado es RangeAssignor. El comportamiento de este asignador consiste en entregar la primera partición de cada tema a un solo consumidor, la segunda partición de cada tema a un solo consumidor, etc. Esto significa que el número máximo de tareas activas de un conector de recepción con RangeAssignor es igual al número máximo de particiones consumidas en un solo tema. Si esto no funciona para su caso de uso, debería crear una configuración de trabajo en la que la propiedad consumer.partition.assignment.strategy esté establecida en un asignador de particiones de consumo más adecuado. Consulte Interfaz Kafka 2.7 ConsumerPartitionAssignor: todas las clases de implementación conocidas.