使用 Spark 结构化流 Amazon Kinesis Data Streams 连接器 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Spark 结构化流 Amazon Kinesis Data Streams 连接器

Amazon EMR 7.1.0 及更高版本在发布映像中包含 Spark 结构化流 Amazon Kinesis Data Streams 连接器。通过此连接器，您可以使用 Amazon EMR 上的 Spark 来处理存储在 Amazon Kinesis Data Streams 中的数据。该连接器支持两种使用者类型 GetRecords（共享吞吐量）和 SubscribeToShard（增强扇出）。此集成基于 spark-sql-kinesis-connector。有关如何开始使用连接器的详细信息，请参阅 README。

以下示例演示了如何使用连接器通过 Amazon EMR 启动 Spark 应用程序

spark-submit my_kinesis_streaming_script.py