Apache Flink - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Apache Flink

Apache Flink はストリーミングデータフローエンジンで、これを使用して、高スループットのデータソースでリアルタイムのストリーム処理ができます。Flink は、アウトオブオーダーイベントのイベントタイムセマンティクス、正確に 1 度しか処理しないセマンティクス、バックプレッシャーコントロール、ストリーミングとバッチアプリケーション両方への書き込みに最適化した API をサポートします。

さらに Flink には、次のようなサードパーティーのデータソースへのコネクタがあります。

Amazon EMR では、クラスター内の他のアプリケーションと一緒にリソースを管理できるよう、YARN アプリケーションとして Flink をサポートしています。Flink を搭載した YARN では、一時的な Flink のジョブを送信できます。あるいは、全体的な YARN 予約に従って複数のジョブを受け入れ、リソースを割り当てる長期実行クラスターを作成することもできます。

Flink は、Amazon EMR リリースバージョン 5.1.0 以降に含まれています。

注記

Amazon EMR リリースバージョン 5.2.1 では FlinkKinesisConsumer クラスのサポートが追加されました。

次の表は、Amazon EMR 7.x シリーズの最新リリースに含まれている Flink のバージョンと、Amazon EMR で Flink と共にインストールされるコンポーネントを示しています。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、「リリース 7.6.0 コンポーネントバージョン」を参照してください。

emr-7.6.0 の Flink バージョン情報
Amazon EMR リリースラベル Flink バージョン Flink でインストールされるコンポーネント

emr-7.6.0

Flink 1.20.0

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

次の表は、Amazon EMR 6.x シリーズの最新リリースに含まれている Flink のバージョンと、Amazon EMR で Flink と共にインストールされるコンポーネントを示しています。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、「リリース 6.15.0 コンポーネントバージョン」を参照してください。

emr-6.15.0 の Flink バージョン情報
Amazon EMR リリースラベル Flink バージョン Flink でインストールされるコンポーネント

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

次の表は、Amazon EMR 5.x シリーズの最新リリースに含まれている Flink のバージョンと、Amazon EMR で Flink と共にインストールされるコンポーネントを示しています。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、「Release 5.36.2 Component Versions」を参照してください。

emr-5.36.2 の Flink バージョン情報
Amazon EMR リリースラベル Flink バージョン Flink でインストールされるコンポーネント

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config
トピック