Apache Spark

Apache Spark es un motor de análisis unificado para el procesamiento de datos a gran escala. Proporciona un alto nivel APIs de Java, Scala, Python y R, y un motor optimizado que admite gráficos de ejecución general. Puede usar Apache Spark para crear aplicaciones de procesamiento de transmisiones que consuman los datos de sus transmisiones de datos de Kinesis.

Para consumir transmisiones de datos de Kinesis mediante Apache Spark Structured Streaming, utilice el conector Amazon Kinesis Data Streams. Este conector es compatible con el consumo gracias a la función de distribución mejorada, que proporciona a la aplicación un rendimiento de lectura específico de hasta 2 MB de datos por segundo por fragmento. Para obtener más información, consulte Desarrollo de consumidores personalizados con un rendimiento específico (expansión mejorada).

Para consumir transmisiones de datos de Kinesis mediante Spark Streaming, consulte Spark Streaming + Kinesis Integration.