Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
¿Qué es Amazon Kinesis Data Streams?
Puede utilizar Amazon Kinesis Data Streams para recopilar y procesar grandes flujos
Kinesis Data Streams forma parte de la plataforma de datos de streaming Kinesis, junto con Firehose, Kinesis Video Streams y Managed Service para Apache Flink.
Para más información sobre las soluciones de macrodatos de AWS, consulte Macrodatos en AWS
Temas
¿Qué puedo hacer con Kinesis Data Streams?
Puede utilizar Kinesis Data Streams para la ingesta y agregación rápidas y continuas de datos. El tipo de datos utilizado puede incluir datos de registros de infraestructura de TI, registros de aplicaciones, redes sociales, fuentes de datos de mercado y datos de secuencias de clics en sitios web. Dado que el tiempo de respuesta necesario para la admisión y el procesamiento de datos es en tiempo real, el procesamiento suele ser ligero.
Los siguientes son escenarios típicos de uso de Kinesis Data Streams:
- Admisión y procesamiento acelerados de transmisiones de datos y registros
-
Puede hacer que los generadores de datos los inserten directamente en una secuencia. Por ejemplo, se pueden enviar logs del sistema y de las aplicaciones, y estarán disponibles para su procesamiento en cuestión de segundos. Eso evita que los datos registrados se pierdan si se produce un error en el front-end o en el servidor de la aplicación. Kinesis Data Streams permite la admisión acelerada de los datos, ya que no es necesario acumular lotes de datos en los servidores antes de enviarlos.
- Métricas e informes en tiempo real
-
Puede utilizar los datos recopilados en Kinesis Data Streams para el análisis y la elaboración de informes sencillos en tiempo real. Por ejemplo, su aplicación de procesamiento de datos puede utilizar las métricas y los análisis de los registros de sistemas y aplicaciones a medida que entran los datos del streaming, en lugar de esperar a que lleguen lotes completos de datos.
- Análisis de datos en tiempo real
-
Así se combina la eficacia del procesamiento paralelo con el valor de los datos en tiempo real. Por ejemplo, procese secuencias de clics de sitios web en tiempo real y, a continuación, analice el compromiso de usabilidad del sitio mediante varias aplicaciones diferentes de Kinesis Data Streams ejecutadas en paralelo.
- Procesamiento de secuencias complejas
-
Puede crear grafos acíclicos dirigidos (DAG) de aplicaciones y flujos de datos de Kinesis Data Streams. Por lo general, esto implica colocar datos de varias aplicaciones de Kinesis Data Streams en otro flujo para su procesamiento posterior por una aplicación de Kinesis Data Streams diferente.
Ventajas de usar Kinesis Data Streams
Aunque puede utilizar Kinesis Data Streams para resolver diversos problemas de flujo de datos, un uso común es la agregación de datos en tiempo real seguida de la carga de los datos agregados en un almacén de datos o clúster MapReduce.
Los datos se colocan en flujos de datos de Kinesis, lo que garantiza su durabilidad y elasticidad. El tiempo que transcurre entre el momento en que un registro se inserta en la secuencia y el momento en el que se puede recuperar (retraso put-to-get) es normalmente menor que 1 segundo. En otras palabras, una aplicación de flujos de datos de Kinesis puede empezar a consumir los datos del flujo casi inmediatamente después de agregarlos. El aspecto de servicio administrado de Kinesis Data Streams elimina la carga operativa de crear y ejecuta una canalización de admisión de datos. Puede crear aplicaciones de flujo de tipo MapReduce. La elasticidad de Kinesis Data Streams le permite escalar el flujo hacia arriba o hacia abajo, de modo que nunca pierda registros de datos antes de su vencimiento.
Varias aplicaciones de Kinesis Data Streams pueden consumir datos de un flujo, de forma que varias acciones, como el archivado y el procesamiento, puedan tener lugar de forma simultánea e independiente. Por ejemplo, dos aplicaciones pueden leer datos de la misma secuencia. La primera aplicación calcula agregados en ejecución y actualiza una tabla de Amazon DynamoDB, y la segunda aplicación comprime y archiva los datos en un almacén de datos como Amazon Simple Storage Service (Amazon S3). A continuación, un panel de control lee la tabla de DynamoDB con los agregados en ejecución para obtener informes actualizados al instante.
Kinesis Client Library permite el consumo tolerante a fallos de datos de flujos y proporciona soporte de escalado para aplicaciones de Kinesis Data Streams.
Servicios relacionados
Para más información sobre el uso de clústeres de Amazon EMR para leer y procesar flujos de datos de Kinesis directamente, consulte Kinesis Connector.
