Apache Flink
Apache Flink
Además, Flink dispone de conectores para orígenes de datos de terceros, tales como los siguientes:
Amazon EMR admite Flink como una aplicación de YARN para que pueda administrar recursos junto con otras aplicaciones dentro de un clúster. Flink-on-YARN le permite enviar trabajos de Flink transitorios o puede crear un clúster en ejecución prolongada que acepte varios trabajos y asigne recursos de acuerdo con la reserva de YARN general.
Flink se incluye en las versiones de Amazon EMR 5.1.0 y posteriores.
nota
La compatibilidad con la clase FlinkKinesisConsumer
se agregó en la versión de lanzamiento de Amazon EMR 5.2.1.
En la siguiente tabla, se muestra la versión de Flink incluida en la última versión de la serie 7.x de Amazon EMR, junto con los componentes que Amazon EMR instala con Flink.
Para ver la versión de los componentes instalados con Flink en esta versión, consulte Versiones de los componentes de la versión 7.3.0.
Etiqueta de versión de Amazon EMR | Versión de Flink | Componentes instalados con Flink |
---|---|---|
emr-7.3.0 |
Flink 1.18.1 |
emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta |
En la tabla siguiente, se muestra la versión de Flink incluida en la última versión de la serie Amazon EMR 6.x, junto con los componentes que Amazon EMR instala con Flink.
Para ver la versión de los componentes instalados con Flink en esta versión, consulte Versiones de los componentes de la versión 6.15.0.
Etiqueta de versión de Amazon EMR | Versión de Flink | Componentes instalados con Flink |
---|---|---|
emr-6.15.0 |
Flink 1.17.1 |
emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors |
En la tabla siguiente, se muestra la versión de Flink incluida en la última versión de la serie Amazon EMR 5.x, junto con los componentes que Amazon EMR instala con Flink.
Para ver la versión de los componentes instalados con Flink en esta versión, consulte Versiones del componente de la versión 5.36.2.
Etiqueta de versión de Amazon EMR | Versión de Flink | Componentes instalados con Flink |
---|---|---|
emr-5.36.2 |
Flink 1.14.2 |
emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config |
Temas
- Creación de un clúster con Flink
- Configuración de Flink en Amazon EMR
- Trabajar con trabajos de Flink en Amazon EMR
- Uso del intérprete de comandos de Scala
- Encontrar la interfaz web de Flink
- Escalador automático de Flink
- Optimización de los tiempos de reinicio de los trabajos para las operaciones de escalado y recuperación de tareas
- Trabajar con trabajos de Flink de Zeppelin en Amazon EMR
- Historial de lanzamientos de Flink