Apache Flink - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Apache Flink

Apache Flink 是一種串流資料流程引擎,可用來在高輸送量的資料來源上執行即時串流處理。Flink 支援事件的事件時間語義 out-of-order、一次性語義、背壓控制,並APIs最佳化以寫入串流和批次應用程式。

此外 Flink 也提供適用於第三方資料來源的連接器,例如以下各項:

Amazon EMR支援 Flink 作為YARN應用程式,以便您可以管理資源以及叢集內的其他應用程式。 Flink-on-YARN 可讓您提交暫時性 Flink 任務,或者您可以建立長期執行的叢集,以接受多個任務並根據整體YARN保留來配置資源。

Flink 包含在 Amazon 5.1.0 版及更新EMR版本中。

注意

Amazon EMR5.2.1 版中已新增對 FlinkKinesisConsumer類別的支援。

下表列出 Amazon EMR 7.x 系列最新版本中包含的 Flink 版本,以及 Amazon 搭配 Flink EMR 安裝的元件。

如需此版本中搭配 Flink 安裝的元件版本,請參閱 7.3.0 版元件版本

emr-7.3.0 的 Flink 版本資訊
Amazon EMR發行標籤 Flink 版本 與 Flink 一起搭配安裝的元件

emr-7.3.0

Flink 1.18.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

下表列出 Amazon EMR 6.x 系列最新版本中包含的 Flink 版本,以及 Amazon 搭配 Flink EMR 安裝的元件。

如需此版本中與 Flink 一起搭配安裝的元件版本,請參閱發行版本 6.15.0 元件版本

emr-6.15.0 的 Flink 版本資訊
Amazon EMR發行標籤 Flink 版本 與 Flink 一起搭配安裝的元件

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

下表列出 Amazon EMR 5.x 系列最新版本中包含的 Flink 版本,以及 Amazon 搭配 Flink EMR 安裝的元件。

如需此版本中搭配 Flink 安裝的元件版本,請參閱版本 5.36.2 元件版本

emr-5.36.2 的 Flink 版本資訊
Amazon EMR發行標籤 Flink 版本 與 Flink 一起搭配安裝的元件

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config