Spark 構造化ストリーミング Amazon Kinesis Data Streams コネクタの使用

Amazon EMR リリース 7.1.0 以降には、リリースイメージに Spark 構造化ストリーミング Amazon Kinesis Data Streams コネクタが含まれています。このコネクタを使用すると、Amazon EMR で Spark を使用して Amazon Kinesis Data Streams に保存されているデータを処理できます。コネクタは、コンシューマータイプ GetRecords (共有スループット) と SubscribeToShard (拡張ファンアウト) の両方をサポートします。この統合は spark-sql-kinesis-connector に基づいています。コネクタの使用を開始する方法の詳細については、README を参照してください。

次の例は、コネクタを使用して Amazon EMR で Spark アプリケーションを起動する方法を示しています。

spark-submit my_kinesis_streaming_script.py