Utilizzo del connettore Amazon Kinesis Data Streams per lo streaming strutturato Spark - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo del connettore Amazon Kinesis Data Streams per lo streaming strutturato Spark

Le versioni 7.1.0 e successive di Amazon EMR includono un connettore Amazon Kinesis Data Streams per lo streaming strutturato Spark nell'immagine di rilascio. Con questo connettore, puoi utilizzare Spark su Amazon EMR per elaborare i dati archiviati in Amazon Kinesis Data Streams. Il connettore supporta sia i tipi consumer (throughput condiviso) che GetRecords (fan-out avanzato). SubscribeToShard Questa integrazione si basa su. spark-sql-kinesis-connector Per informazioni dettagliate su come iniziare a utilizzare il connettore, consulta il file README.

L'esempio seguente mostra come utilizzare il connettore per avviare un'applicazione Spark con Amazon EMR.

spark-submit my_kinesis_streaming_script.py