Uso de una distribución mejorada en los trabajos de streaming de Kinesis - AWS Glue

Uso de una distribución mejorada en los trabajos de streaming de Kinesis

Un consumidor con una distribución mejorada puede recibir los registros de una transmisión de Kinesis con un rendimiento dedicado que puede ser superior al de los consumidores habituales. Esto se logra mediante la optimización del protocolo de transferencia utilizado para proporcionar datos a un consumidor de Kinesis, como su trabajo. Para obtener más información sobre Kinesis Enhanced Fan-Out, consulte la documentación de Kinesis.

En el modo de distribución mejorada, las opciones de conexión maxRecordPerRead y idleTimeBetweenReadsInMs ya no se aplican, ya que esos parámetros no se pueden configurar cuando se utiliza la apertura de distribución mejorada. Las opciones de configuración para los reintentos funcionan como se describe.

Utilice los siguientes procedimientos para habilitar y deshabilitar la distribución mejorada para su trabajo de streaming. Debe registrar un consumidor de transmisión para cada trabajo que vaya a consumir datos de su transmisión.

Para habilitar un consumo de distribución mejorada en su trabajo:

  1. Registre un consumidor de transmisión para su trabajo mediante la API de Kinesis. Siga las instrucciones para registrar a un consumidor con una distribución mejorada mediante la API de Kinesis Data Streams de la documentación de Kinesis. Solo tendrá que seguir el primer paso: llamar a RegisterStreamConsumer. Su solicitud debe devolver un ARN, consumerARN.

  2. Establezca la opción de conexión fanoutConsumerARN en consumerARN en los argumentos del método de conexión.

  3. Reinicie el trabajo.

Para deshabilitar un consumo de distribución mejorada en su trabajo:

  1. Elimine la opción de conexión fanoutConsumerARN de su método de llamada.

  2. Reinicie el trabajo.

  3. Siga las instrucciones para anular el registro de un consumidor en la documentación de Kinesis. Estas instrucciones se aplican a la consola, pero también se pueden obtener a través de la API de Kinesis. Para obtener más información sobre la cancelación del registro de consumidores de transmisión a través de la API de Kinesis, consulte DeregisterStreamConsumer en la documentación de Kinesis.