Spark 構造化ストリーミング Amazon Kinesis Data Streams コネクタの使用 - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Spark 構造化ストリーミング Amazon Kinesis Data Streams コネクタの使用

Amazon EMRリリース 7.1.0 以降には、リリースイメージにSpark 構造化ストリーミング Amazon Kinesis Data Streams コネクタが含まれています。このコネクタを使用すると、Spark on Amazon EMR を使用してAmazon Kinesis Data Streams に保存されているデータを処理できます。コネクタは、コンシューマータイプ GetRecords (共有スループット) と SubscribeToShard (拡張ファンアウト) の両方をサポートします。この統合は に基づいています spark-sql-kinesis-connector。コネクタの使用を開始する方法の詳細については、「」を参照してくださいREADME。

次の例は、コネクタを使用して Amazon で Spark アプリケーションを起動する方法を示しています。 EMR

spark-submit my_kinesis_streaming_script.py