Amazon EMR sur les EKS versions 6.7.0 - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon EMR sur les EKS versions 6.7.0

Les versions Amazon EMR 6.7.0 suivantes sont disponibles pour Amazon EMR surEKS. Sélectionnez une XXXX version d'emr-6.7.0- spécifique pour afficher plus de détails, tels que la balise d'image du conteneur associée.

Notes de mise à jour pour Amazon EMR 6.7.0

  • Applications prises en charge : Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.

  • Composants pris en charge : aws-hm-client (connecteur Glue), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb, hudi-spark.

  • Avec la mise à niveau vers la version JEG 2.6, la gestion du noyau est désormais asynchrone, ce qui signifie qu'JEGelle ne bloque pas les transactions lors du lancement du noyau. Cela améliore considérablement l'expérience utilisateur en fournissant les éléments suivants :

    • possibilité d'exécuter des commandes dans les blocs-notes en cours d'exécution lorsque d'autres lancements de noyau sont en cours

    • possibilité de lancer plusieurs noyaux simultanément sans affecter les noyaux déjà en cours d'exécution

  • Classifications de configuration prises en charge :

    Classifications Descriptions

    core-site

    Modifiez les valeurs dans le fichier Hadoop core-site.xml.

    emrfs-site

    Modifiez EMRFS les paramètres.

    spark-metrics

    Modifiez les valeurs dans le fichier Spark metrics.properties.

    spark-defaults

    Modifiez les valeurs dans le fichier Spark spark-defaults.conf.

    spark-env

    Modifiez les valeurs dans l'environnement Spark.

    spark-hive-site

    Modifiez les valeurs dans le fichier Spark hive-site.xml.

    spark-log4j

    Modifiez les valeurs dans le fichier Spark log4j.properties.

    Les classifications de configuration vous permettent de personnaliser les applications. Ils correspondent souvent à un XML fichier de configuration de l'application, tel quespark-hive-site.xml. Pour plus d'informations, consultez Configuration des applications.

Problèmes résolus

  • Amazon EMR on EKS 6.7 corrige un problème dans la version 6.6 lors de l'utilisation de la fonctionnalité de modèles de pods d'Apache Spark avec des points de terminaison interactifs. Le problème était présent EMR sur Amazon dans les EKS versions 6.4, 6.5 et 6.6. Vous pouvez désormais utiliser des modèles de pods pour définir le mode de démarrage de vos pods de pilotes et d'exécuteurs Spark lorsque vous utilisez des points de terminaison interactifs pour exécuter des analyses interactives.

  • Dans les EKS versions précédentes d'Amazon EMR on, Jupyter Enterprise Gateway bloquait les transactions lors du lancement du noyau, ce qui empêchait l'exécution des sessions de bloc-notes en cours d'exécution. Vous pouvez désormais exécuter des commandes dans les blocs-notes en cours d'exécution lorsque d'autres lancements de noyau sont en cours. Vous pouvez également lancer plusieurs noyaux simultanément sans risquer de perdre la connectivité avec les noyaux déjà en cours d'exécution.