Apache Flink - Amazon EMR

Apache Flink

Apache Flink es un motor de flujo de datos de streaming que se puede usar para ejecutar el procesamiento de flujos en tiempo real con orígenes de datos de alto rendimiento. Flink admite la semántica de tiempo de eventos para eventos desordenados, la semántica exactamente una vez, el control de resistencia y API optimizadas para escribir tanto streaming como aplicaciones por lotes.

Además, Flink dispone de conectores para orígenes de datos de terceros, tales como los siguientes:

Amazon EMR admite Flink como una aplicación de YARN para que pueda administrar recursos junto con otras aplicaciones dentro de un clúster. Flink-on-YARN le permite enviar trabajos de Flink transitorios o puede crear un clúster en ejecución prolongada que acepte varios trabajos y asigne recursos de acuerdo con la reserva de YARN general.

Flink se incluye en las versiones de Amazon EMR 5.1.0 y posteriores.

nota

La compatibilidad con la clase FlinkKinesisConsumer se agregó en la versión de lanzamiento de Amazon EMR 5.2.1.

En la siguiente tabla, se muestra la versión de Flink incluida en la última versión de la serie 7.x de Amazon EMR, junto con los componentes que Amazon EMR instala con Flink.

Para ver la versión de los componentes instalados con Flink en esta versión, consulte Versiones de los componentes de la versión 7.3.0.

Información de la versión de Flink para emr-7.3.0
Etiqueta de versión de Amazon EMR Versión de Flink Componentes instalados con Flink

emr-7.3.0

Flink 1.18.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

En la tabla siguiente, se muestra la versión de Flink incluida en la última versión de la serie Amazon EMR 6.x, junto con los componentes que Amazon EMR instala con Flink.

Para ver la versión de los componentes instalados con Flink en esta versión, consulte Versiones de los componentes de la versión 6.15.0.

Información de la versión de Flink para emr-6.15.0
Etiqueta de versión de Amazon EMR Versión de Flink Componentes instalados con Flink

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

En la tabla siguiente, se muestra la versión de Flink incluida en la última versión de la serie Amazon EMR 5.x, junto con los componentes que Amazon EMR instala con Flink.

Para ver la versión de los componentes instalados con Flink en esta versión, consulte Versiones del componente de la versión 5.36.2.

Información de la versión de Flink para emr-5.36.2
Etiqueta de versión de Amazon EMR Versión de Flink Componentes instalados con Flink

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config