Uso del conector Amazon Kinesis Data Streams de streaming estructurado de Spark

Las versiones 7.1.0 y posteriores de Amazon EMR incluyen un conector de Amazon Kinesis Data Streams de streaming estructurado Spark en la imagen de la versión. Con este conector, puede usar Spark en Amazon EMR para procesar los datos que están almacenados en Amazon Kinesis Data Streams. El conector admite tanto los tipos de consumidores GetRecords (rendimiento compartido) como SubscribeToShard (distribución mejorada). Esta integración se basa en spark-sql-kinesis-connector. Para obtener información detallada sobre cómo empezar a utilizar el conector, consulte el README.

En el siguiente ejemplo, se muestra cómo utilizar el conector para iniciar una aplicación Spark con Amazon EMR.

spark-submit my_kinesis_streaming_script.py