Apache Spark

Apache Spark は、大規模データ処理のための統合分析エンジンです。Java、Scala、Python、R APIsの高レベルと、一般的な実行グラフをサポートする最適化されたエンジンを提供します。Apache Spark を使用して、Kinesis データストリーム内のデータを使用するストリーム処理アプリケーションを構築できます。

Apache Spark 構造化ストリーミングを使用して Kinesis データストリームを使用するには、Amazon Kinesis Data Streams コネクタ を使用します。このコネクタは、拡張ファンアウトによる消費をサポートします。これにより、アプリケーションはシャードごとに 1 秒あたり最大 2 MB のデータの専用読み取りスループットが得られます。詳細については、「専有スループット (拡張ファンアウト) を使用したカスタムコンシューマーの開発」を参照してください。

Spark Streaming を使用して Kinesis データストリームを使用するには、「Spark Streaming + Kinesis Integration」を参照してください。