Desarrolle consumidores con una distribución mejorada con un rendimiento dedicado - Amazon Kinesis Data Streams

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Desarrolle consumidores con una distribución mejorada con un rendimiento dedicado

En Amazon Kinesis Data Streams puede crear consumidores que utilicen una característica denominada distribución ramificada mejorada. Esta función permite a los consumidores recibir los registros de una transmisión con un rendimiento de hasta 2 MB de datos por segundo por fragmento. Este rendimiento está dedicado, lo que significa que los consumidores que utilizan la distribución ramificada mejorada no tienen que competir con otros consumidores que reciben datos del flujo. Kinesis Data Streams inserta registros de datos desde el flujo en los consumidores que utilizan la distribución ramificada mejorada. Por lo tanto, estos consumidores no necesitan sondear los datos.

importante

Es posible registrar hasta veinte consumidores por secuencia que utilicen la distribución ramificada mejorada.

En el siguiente diagrama, se muestra la arquitectura de distribución ramificada mejorada. Si utiliza la versión 2.0 o posterior de la biblioteca de clientes de Amazon Kinesis (KCL) para crear un consumidor, esto KCL configura al consumidor para que utilice una distribución mejorada a fin de recibir datos de todos los fragmentos de la transmisión. Si lo utiliza API para crear un consumidor que utilice una distribución mejorada, puede suscribirse a fragmentos individuales.

Diagrama de flujo que muestra la arquitectura de distribución ramificada mejorada con dos fragmentos y dos consumidores. Cada uno de los dos consumidores utiliza la distribución ramificada mejorada para recibir datos de ambos fragmentos de la secuencia.

En el diagrama se muestra lo siguiente:

  • Una secuencia con dos fragmentos.

  • Dos consumidores que utilizan la distribución ramificada mejorada para recibir datos de la secuencia: Consumer X y Consumer Y. Ambos están suscritos a todos los fragmentos y a todos los registros de la secuencia. Si utilizas la versión 2.0 o una versión posterior de la KCL para crear un consumidor, ese consumidor KCL se suscribirá automáticamente a todos los fragmentos de la transmisión. Por otro lado, si utilizas el API para crear un consumidor, puedes suscribirte a fragmentos individuales.

  • Flechas que representan las canalizaciones de distribución ramificada mejorada que utilizan los consumidores para recibir datos de la secuencia. Una canalización de distribución ramificada mejorada proporciona hasta 2 MB/seg de datos por fragmento, independientemente de las otras canalizaciones o del número total de consumidores.

Diferencias entre el consumidor compartido por todo el consumidor y el consumidor con mayor distribución

En la siguiente tabla, se comparan los consumidores con un rendimiento compartido predeterminado con los consumidores con un sistema de distribución más amplio. El retraso de propagación del mensaje se define como el tiempo en milisegundos que tarda una carga útil enviada mediante el envío de la carga útil (como y) en llegar a la aplicación de consumo a través de la carga útil que consume APIs (como PutRecord yPutRecords). APIs GetRecords SubscribeToShard

En esta tabla se comparan los consumidores con un rendimiento compartido y los consumidores con mayor capacidad de distribución
Características Consumidores con un rendimiento compartido sin una distribución mejorada Consumidores con mayor capacidad de distribución
Velocidad de lectura

Se ha fijado en un total de 2MB/sec per shard. If there are multiple consumers reading from the same shard, they all share this throughput. The sum of the throughputs they receive from the shard doesn't exceed 2 MB/sec.

Se escala a medida que los consumidores se registran para utilizar la distribución ramificada mejorada. Cada consumidor registrado para usar un despliegue mejorado recibe su propio rendimiento de lectura por fragmento, hasta 2 MB/seg, independientemente de otros consumidores.

Retraso de propagación de mensajes

Un promedio de alrededor de 200 ms si hay un consumidor leyendo la secuencia. Este promedio alcanza aproximadamente los 1000 ms si hay cinco consumidores.

Por lo general, el promedio es de 70 ms si hay un consumidor o cinco consumidores.

Costo No aplicable

Existe un costo de recuperación de datos y un costo por hora y fragmento para los consumidores. Para obtener más información, consulte los precios de Amazon Kinesis Data Streams.

Modelo de entrega de registros

Coloque el modelo sobre el HTTP uso GetRecords.

Kinesis Data Streams le envía los registros HTTP más de /2 utilizando. SubscribeToShard