Apache Livy - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Apache Livy

Livy permet l'interaction via une REST interface avec un EMR cluster exécutant Spark. Vous pouvez utiliser l'RESTinterface ou une bibliothèque RPC cliente pour soumettre des tâches Spark ou des extraits de code Spark, récupérer les résultats de manière synchrone ou asynchrone et gérer Spark Context. Pour plus d'informations, consultez le site web Apache Livy. Livy est inclus dans les EMR versions 5.9.0 et ultérieures d'Amazon.

Pour accéder à l'interface Web de Livy, configurez un SSH tunnel vers le nœud principal et une connexion proxy. Pour plus d'informations, voir Afficher les interfaces Web hébergées sur EMR des clusters.

Le tableau suivant répertorie la version de Livy incluse dans la dernière version de la série Amazon EMR 7.x, ainsi que les composants qu'Amazon EMR installe avec Livy.

Pour la version des composants installés avec Livy dans cette version, voir Versions des composants de la version 7.3.0.

Informations sur la version de Livy pour emr-7.3.0
Étiquette EMR de sortie Amazon Version Livy Composants installés avec Livy

emr-7.3.0

Livy 0.8.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx

Le tableau suivant répertorie la version de Livy incluse dans la dernière version de la série Amazon EMR 6.x, ainsi que les composants qu'Amazon EMR installe avec Livy.

Pour connaître la version des composants installés avec Livy dans cette version, consultez les versions des composants de la version 6.15.0.

Informations sur la version de Livy pour emr-6.15.0
Étiquette EMR de sortie Amazon Version Livy Composants installés avec Livy

emr-6.15.0

Livy 0.7.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx

Le tableau suivant répertorie la version de Livy incluse dans la dernière version de la série Amazon EMR 5.x, ainsi que les composants qu'Amazon EMR installe avec Livy.

Pour la version des composants installés avec Livy dans cette version, voir la version 5.36.2 Versions des composants.

Informations sur la version de Livy pour emr-5.36.2
Étiquette EMR de sortie Amazon Version Livy Composants installés avec Livy

emr-5.36.2

Livy 0.7.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx