Apache Flink

Apache Flink はストリーミングデータフローエンジンで、これを使用して、高スループットのデータソースでリアルタイムのストリーム処理ができます。Flink は、アウトオブオーダーイベントのイベントタイムセマンティクス、正確に 1 度しか処理しないセマンティクス、バックプレッシャーコントロール、ストリーミングとバッチアプリケーション両方への書き込みに最適化した API をサポートします。

さらに Flink には、次のようなサードパーティーのデータソースへのコネクタがあります。

Amazon EMR では、クラスター内の他のアプリケーションと一緒にリソースを管理できるよう、YARN アプリケーションとして Flink をサポートしています。Flink を搭載した YARN では、一時的な Flink のジョブを送信できます。あるいは、全体的な YARN 予約に従って複数のジョブを受け入れ、リソースを割り当てる長期実行クラスターを作成することもできます。

Flink は、Amazon EMR リリースバージョン 5.1.0 以降に含まれています。

次の表は、Amazon EMR 7.x シリーズの最新リリースに含まれている Flink のバージョンと、Amazon EMR で Flink と共にインストールされるコンポーネントを示しています。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、「リリース 7.8.0 コンポーネントバージョン」を参照してください。

次の表は、Amazon EMR 6.x シリーズの最新リリースに含まれている Flink のバージョンと、Amazon EMR で Flink と共にインストールされるコンポーネントを示しています。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、「リリース 6.15.0 コンポーネントバージョン」を参照してください。

次の表は、Amazon EMR 5.x シリーズの最新リリースに含まれている Flink のバージョンと、Amazon EMR で Flink と共にインストールされるコンポーネントを示しています。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、「Release 5.36.2 Component Versions」を参照してください。