View a markdown version of this page

Desarrollo de consumidores de distribución ramificada mejorada con rendimiento dedicado - Amazon Kinesis Data Streams

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Desarrollo de consumidores de distribución ramificada mejorada con rendimiento dedicado

En Amazon Kinesis Data Streams puede crear consumidores que utilicen una característica denominada distribución ramificada mejorada. Esta característica permite a los consumidores recibir registros de un flujo con un rendimiento de hasta 2 MB de datos por segundo por partición. Este rendimiento está dedicado, lo que significa que los consumidores que utilizan la distribución ramificada mejorada no tienen que competir con otros consumidores que reciben datos del flujo. Kinesis Data Streams inserta registros de datos desde el flujo en los consumidores que utilizan la distribución ramificada mejorada. Por lo tanto, estos consumidores no necesitan sondear los datos.

importante

Con el modo On-demand Advantage, puedes registrar hasta 50 consumidores por transmisión para usar la distribución mejorada. Con las transmisiones On-demand estándar y aprovisionadas, puedes registrar hasta 20 consumidores por transmisión para que usen la distribución mejorada.

En el siguiente diagrama, se muestra la arquitectura de distribución ramificada mejorada. Si utiliza la versión 2.0 o posterior de Amazon Kinesis Client Library (KCL) para crear un consumidor, KCL configura el consumidor para que utilice la distribución ramificada mejorada para recibir datos de todas las particiones del flujo. Si utiliza la API para crear un consumidor que utiliza la distribución ramificada mejorada, puede suscribirse a fragmentos individuales.

Diagrama de flujo que muestra la arquitectura de distribución ramificada mejorada con dos fragmentos y dos consumidores. Cada uno de los dos consumidores utiliza la distribución ramificada mejorada para recibir datos de ambos fragmentos de la secuencia.

En el diagrama se muestra lo siguiente:

  • Una secuencia con dos fragmentos.

  • Dos consumidores que utilizan la distribución ramificada mejorada para recibir datos de la secuencia: Consumer X y Consumer Y. Ambos están suscritos a todos los fragmentos y a todos los registros de la secuencia. Si utiliza la versión 2.0 o posterior de KCL para crear un consumidor, KCL suscribe automáticamente ese consumidor a todas las particiones del flujo. Por otro lado, si utiliza la API para crear un consumidor, puede suscribirse a fragmentos individuales.

  • Flechas que representan las canalizaciones de distribución ramificada mejorada que utilizan los consumidores para recibir datos de la secuencia. Un canal de distribución en forma de abanico mejorado proporciona hasta un 2% MB/sec de datos por fragmento, independientemente de cualquier otro canal o del número total de consumidores.

Diferencias entre el consumidor de rendimiento compartido y el consumidor de distribución ramificada mejorada

En la tabla siguiente, se comparan los consumidores de rendimiento compartido predeterminado y los consumidores de distribución ramificada mejorada. El retraso de propagación de mensajes se define como el tiempo necesario en milisegundos para que una carga útil enviada mediante las API de envío de cargas útiles (como PutRecord y PutRecords) llegue a la aplicación consumidora a través de las API consumidoras de carga útil (como GetRecords y SubscribeToShard).

En esta tabla se comparan los consumidores de rendimiento compartido y los consumidores de distribución ramificada mejorada
Características Consumidores de rendimiento compartido sin una distribución ramificada mejorada Consumidores de distribución ramificada mejorada
Velocidad de lectura

Se fija en un total de 2 MB/sec por fragmento. Si hay varios consumidores que leen en un mismo fragmento, todos ellos comparten este rendimiento. La suma de los rendimientos que reciben del fragmento no supera los 2. MB/sec

Se escala a medida que los consumidores se registran para utilizar la distribución ramificada mejorada. Cada consumidor registrado para utilizar el sistema de distribución en abanico mejorado recibe su propio rendimiento de lectura por fragmento, hasta un máximo de 2 MB/sec, independientemente de los demás consumidores.

Retraso de propagación de mensajes

Un promedio de alrededor de 200 ms si hay un consumidor leyendo la secuencia. Este promedio alcanza aproximadamente los 1000 ms si hay cinco consumidores.

Por lo general, el promedio es de 70 ms si hay un consumidor o cinco consumidores.

Costo No aplicable

Existe un costo de recuperación de datos y un costo por hora y fragmento para los consumidores. Para obtener más información, consulte los precios de Amazon Kinesis Data Streams.

Modelo de entrega de registros

Extraiga el modelo a través de HTTP usando. GetRecords

Kinesis Data Streams le envía los registros en exceso HTTP/2 . SubscribeToShard

Regions está disponible para un máximo de 50 consumidores con una distribución más amplia (solo Advantage) On-demand

En el modo On-demand Advantage, la compatibilidad con hasta 50 usuarios con la tecnología de distribución avanzada solo está disponible en las siguientes regiones: AWS

AWS Región Nombre de la región

eu-north-1

Europa (Estocolmo)

me-south-1

Middle East (Bahrain)

mx-central-1

México (centro)

ap-south-1

Asia-Pacífico (Mumbai)

eu-west-3

Europa (París)

ap-southeast-3

Asia-Pacífico (Yakarta)

us-east-2

Este de EE. UU. (Ohio)

af-south-1

África (Ciudad del Cabo)

eu-west-1

Europa (Irlanda)

me-central-1

Medio Oriente (EAU)

eu-central-1

Europa (Fráncfort)

sa-east-1

América del Sur (São Paulo)

ap-east-1

Asia-Pacífico (Hong Kong)

ap-east-2

Asia-Pacífico (Taipéi)

ap-south-2

Asia-Pacífico (Hyderabad)

us-east-1

Este de EE. UU. (Norte de Virginia)

ap-northeast-2

Asia-Pacífico (Seúl)

ap-northeast-3

Asia-Pacífico (Osaka)

eu-west-2

Europa (Londres)

ap-southeast-4

Asia-Pacífico (Melbourne)

ap-southeast-5

Asia-Pacífico (Malasia)

ap-southeast-6

Asia-Pacífico (Nueva Zelanda)

ap-southeast-7

Asia-Pacífico (Tailandia)

ap-northeast-1

Asia-Pacífico (Tokio)

us-west-2

Oeste de EE. UU. (Oregón)

us-west-1

Oeste de EE. UU. (Norte de California)

ap-southeast-1

Asia-Pacífico (Singapur)

ap-southeast-2

Asia-Pacífico (Sídney)

il-central-1

Israel (Tel Aviv)

ca-central-1

Canadá (centro)

ca-west-1

Oeste de Canadá (Calgary)

eu-south-2

Europa (España)

eu-south-1

Europa (Milán)

cn-northwest-1

China (Ningxia)

eu-central-2

Europa (Zúrich)

us-gov-east-1

AWS GovCloud (US-East)

us-gov-west-1

AWS GovCloud (US-West)