Apache Flink - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Apache Flink

O Apache Flink é um mecanismo de fluxo de dados de streaming que você pode usar para executar o processamento de streaming em tempo real em fontes de dados de alto throughput. O Flink suporta semântica de tempo de evento para out-of-order eventos, semântica de exatamente uma vez, controle de contrapressão e APIs otimizado para escrever aplicativos de streaming e em lote.

Além disso, o Flink tem conectores para fontes de dados de terceiros, como o seguinte:

O Amazon EMR oferece suporte ao Flink como um aplicativo do YARN para que você possa gerenciar recursos junto com outros aplicativos em um cluster. Flink-on-YARNpermite que você envie trabalhos temporários do Flink, ou você pode criar um cluster de longa execução que aceita vários trabalhos e aloca recursos de acordo com a reserva geral do YARN.

O Flink é incluído nas versões 5.1.0 e posteriores do Amazon EMR.

nota

O suporte para a classe FlinkKinesisConsumer foi adicionado no Amazon EMR versão 5.2.1.

A tabela a seguir lista a versão do Flink incluída na versão mais recente da série 7.x do Amazon EMR, além dos componentes que o Amazon EMR instala com o Flink.

Para a versão dos componentes instalados com o Flink nesta versão, consulte Versões de componentes da versão 7.7.0.

Informações sobre a versão do Flink para o emr-7.7.0
Rótulo de versão do Amazon EMR Versão do Flink Componentes instalados com o Flink

emr-7.7.0

Flink 1.20.0

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

A tabela a seguir lista a versão do Flink incluída na versão mais recente da série 6.x do Amazon EMR, além dos componentes que o Amazon EMR instala com o Flink.

Para obter a versão dos componentes instalados com o Flink nessa versão, consulte Release 6.15.0 Component Versions.

Informações de versão do Flink para o emr-6.15.0
Rótulo de versão do Amazon EMR Versão do Flink Componentes instalados com o Flink

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

A tabela a seguir lista a versão do Flink incluída na versão mais recente da série 5.x do Amazon EMR, além dos componentes que o Amazon EMR instala com o Flink.

Para obter a versão dos componentes instalados com o Flink nesse lançamento, consulte Release 5.36.2 Component Versions.

Informações de versão do Flink para o emr-5.36.2
Rótulo de versão do Amazon EMR Versão do Flink Componentes instalados com o Flink

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config