Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Comprenda el recuento máximo de tareas con escalado automático
El maxAutoscalingTaskCount parámetro es un campo de capacidad opcional disponible para los conectores de escalado automático de Amazon MSK Connect. Este parámetro permite establecer un límite máximo para el número máximo de tareas que se pueden crear durante las operaciones de escalado automático de los conectores, lo que proporciona un mayor control sobre la utilización de los recursos y el rendimiento.
Cuando utiliza el modo de capacidad con escalado automático, Amazon MSK Connect anula automáticamente la tasks.max propiedad del conector con un valor proporcional al número de trabajadores y MCU por trabajador. El maxAutoscalingTaskCount parámetro proporciona una opción configurable adicional para limitar la cantidad máxima de tareas creadas para el conector.
Esta capacidad es especialmente útil cuando desea controlar el nivel de paralelismo en relación con el número de particiones temáticas en su clúster de Kafka. Al establecer este límite, puede optimizar el rendimiento y evitar una distribución ineficiente de las tareas, que puede producirse cuando el recuento de tareas calculado automáticamente supera los requisitos de carga de trabajo.
Requisitos de configuración
El maxAutoscalingTaskCount parámetro debe cumplir los siguientes requisitos:
maxAutoscalingTaskCount ≥ maxWorkerCount
Este requisito garantiza una utilización eficiente de los recursos al mantener al menos una tarea por trabajador. El sistema aplica este mínimo para optimizar la funcionalidad del conector.
Si lo especificamaxAutoscalingTaskCount, el límite se aplica inmediatamente después de la creación del conector y durante todos los eventos de escalado posteriores. A medida que el número de trabajadores aumenta o disminuye durante las operaciones de escalado automático, el sistema sigue respetando este límite. El tasks.max valor se ajusta proporcionalmente a la cantidad de trabajadores y MCU por trabajador, pero nunca supera el valor configurado. maxAutoscalingTaskCount
Si no especifica este parámetro, el conector utiliza el cálculo estándar sin ningún límite: tasks.max = workerCount × mcuCount × tasksPerMcu (donde las tareas PerMcu son 2).
¿Cuándo usar el máximo AutoscalingTaskCount
Considere la posibilidad de usarlo maxAutoscalingTaskCount en los siguientes escenarios:
-
Recuento de particiones limitado: cuando los temas de Kafka tienen un número fijo de particiones inferior al recuento de tareas calculado automáticamente, establecer un límite impide la creación de tareas inactivas sin trabajo por realizar.
-
Optimización del rendimiento: cuando hayas identificado que un recuento de tareas específico proporciona un rendimiento óptimo para tu carga de trabajo, puedes limitar el número máximo de tareas para mantener un rendimiento uniforme.
-
Administración de recursos: cuando quieres controlar el máximo paralelismo y consumo de recursos de tu conector, independientemente del número de trabajadores que estén en funcionamiento.
Ejemplo
Para un conector con la siguiente configuración:
minWorkerCount: 1 maxWorkerCount: 4 mcuCount: 8 maxAutoscalingTaskCount: 15
Sin maxAutoscalingTaskCount él, si se escalara a 4 trabajadores, el conector crearía 64 tareas (4 trabajadores × 8 MCU × 2 tareas por MCU). Si maxAutoscalingTaskCount se establece en 15, el conector crea solo 15 tareas, lo que puede resultar más apropiado si el tema de Kafka tiene 15 particiones o menos.
