Uso do conector do Amazon Kinesis Data Streams para streaming estruturado do Spark - Amazon EMR

Uso do conector do Amazon Kinesis Data Streams para streaming estruturado do Spark

As versões 7.1.0 e posteriores do Amazon EMR incluem um conector do Amazon Kinesis Data Streams para streaming estruturado do Spark na imagem de lançamento. Com esse conector, você pode usar o Spark no Amazon EMR para processar dados armazenados no Amazon Kinesis Data Streams. O conector é compatível com os tipos de consumidor de GetRecords (throughput compartilhado) e SubscribeToShard (fan-out aprimorado). Essa integração é baseada no spark-sql-kinesis-connector. Para obter detalhes sobre como começar a usar o conector, consulte o README.

O exemplo a seguir demonstra como usar o conector para iniciar uma aplicação do Spark com o Amazon EMR

spark-submit my_kinesis_streaming_script.py