使用 Spark 結構化串流 Amazon Kinesis Data Streams 連接器 - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Spark 結構化串流 Amazon Kinesis Data Streams 連接器

Amazon 7.1.0 版及更新EMR版本包含 版本映像中的 Spark 結構化串流 Amazon Kinesis Data Streams 連接器。透過此連接器，您可以使用 Amazon 上的 Spark EMR 來處理存放在 Amazon Kinesis Data Streams 中的資料。連接器支援 GetRecords（共用輸送量） 和 SubscribeToShard（增強的扇出） 的取用者類型。此整合是以 為基礎 spark-sql-kinesis-connector。如需有關如何使用連接器的詳細資訊，請參閱 README。

下列範例示範如何使用連接器來啟動 Amazon 的 Spark 應用程式 EMR

spark-submit my_kinesis_streaming_script.py