Amazon EMR sur les versions EKS 6.13.0 - Amazon EMR
VersionsNotes de mise à jourFonctionnalités

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon EMR sur les versions EKS 6.13.0

Cette page décrit les fonctionnalités nouvelles et mises à jour pour Amazon EMR qui sont spécifiques à Amazon en cours EMR de EKS déploiement. Pour en savoir plus sur l'EMRexécution d'Amazon sur Amazon EC2 et sur la version EMR 6.13.0 d'Amazon en général, consultez Amazon EMR 6.13.0 dans le guide des versions d'Amazon. EMR

Amazon EMR sur les EKS versions 6.13

Les versions Amazon EMR 6.13.0 suivantes sont disponibles pour Amazon EMR sur. EKS Sélectionnez une XXXX version emr-6.13.0- spécifique pour afficher plus de détails, tels que la balise d'image du conteneur associée.

  • emr-6.13.0-latest

  • emr-6.13.0-20230814

  • emr-6.13.0-spark-rapids-latest

  • emr-6.13.0-spark-rapids-20230814

  • emr-6.13.0-java11-latest

  • emr-6.13.0-java11-20230814

  • emr-6.13.0-java17-latest

  • emr-6.13.0-java17-20230814

  • emr-6.13.0-java17-al2023-latest

  • emr-6.13.0-java17-al2023-20230814

  • emr-6.13.0-spark-rapids-java17-latest

  • emr-6.13.0-spark-rapids-java17-20230814

  • emr-6.13.0-spark-rapids-java17-al2023-latest

  • emr-6.13.0-spark-rapids-java17-al2023-20230814

  • notebook-spark/emr-6.13.0-latest

  • notebook-spark/emr-6.13.0-20230814

  • notebook-spark/emr-6.13.0-spark-rapids-latest

  • notebook-spark/emr-6.13.0-spark-rapids-20230814

  • notebook-spark/emr-6.13.0-java11-latest

  • notebook-spark/emr-6.13.0-java11-20230814

  • notebook-spark/emr-6.13.0-java17-latest

  • notebook-spark/emr-6.13.0-java17-20230814

  • notebook-spark/emr-6.13.0-java17-al2023-latest

  • notebook-spark/emr-6.13.0-java17-al2023-20230814

  • notebook-python/emr-6.13.0-latest

  • notebook-python/emr-6.13.0-20230814

  • notebook-python/emr-6.13.0-spark-rapids-latest

  • notebook-python/emr-6.13.0-spark-rapids-20230814

  • notebook-python/emr-6.13.0-java11-latest

  • notebook-python/emr-6.13.0-java11-20230814

  • notebook-python/emr-6.13.0-java17-latest

  • notebook-python/emr-6.13.0-java17-20230814

  • notebook-python/emr-6.13.0-java17-al2023-latest

  • notebook-python/emr-6.13.0-java17-al2023-20230814

Notes de mise à jour

Notes de mise à jour pour Amazon EMR sur la version EKS 6.13.0

  • Applications prises en charge ‐ AWS SDK for Java 1.12.513, Apache Spark 3.4.1-amzn-0, Apache Hudi 0.13.1-amzn-0, Apache Iceberg 1.3.0-amzn-0, Delta 2.4.0, Apache Spark 23.06.0-amzn-1, Jupyter Enterprise Gateway 2.6.0.amzn RAPIDS

  • Composants pris en charge : aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Classifications de configuration prises en charge

    À utiliser avec StartJobRunet  CreateManagedEndpointAPIs:

    Classifications Descriptions

    core-site

    Modifiez les valeurs dans le fichier Hadoop core-site.xml.

    emrfs-site

    Modifiez EMRFS les paramètres.

    spark-metrics

    Modifiez les valeurs dans le fichier Spark metrics.properties.

    spark-defaults

    Modifiez les valeurs dans le fichier Spark spark-defaults.conf.

    spark-env

    Modifiez les valeurs dans l'environnement Spark.

    spark-hive-site

    Modifiez les valeurs dans le fichier Spark hive-site.xml.

    spark-log4j

    Modifiez les valeurs dans le fichier Spark log4j2.properties.

    emr-job-submitter

    Configuration pour le pod soumissionnaire de tâches.

    À utiliser spécifiquement avec  CreateManagedEndpointAPIs:

    Classifications Descriptions

    jeg-config

    Modifiez les valeurs dans le fichier jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.

    Les classifications de configuration vous permettent de personnaliser les applications. Ils correspondent souvent à un XML fichier de configuration de l'application, tel quespark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.

Fonctionnalités notables

Les fonctionnalités suivantes sont incluses dans la version 6.13 d'Amazon EMR onEKS.

  • Amazon Linux 2023 - Avec Amazon EMR EKS 6.13 ou version ultérieure, vous pouvez lancer Spark avec le système d'exploitation AL2 023 avec le runtime Java 17. Pour ce faire, utilisez l'étiquette de version dont le nom comporte al2023. olpPar exemple : emr-6.13.0-java17-al2023-latest. Nous vous recommandons de valider et d'exécuter des tests de performances avant de déplacer vos charges de travail de production vers AL2 023 et Java 17.

  • Amazon EMR EKS avec Apache Flink (version préliminaire publique) - Amazon EMR sur les EKS versions 6.13 et supérieures prend en charge Apache Flink, disponible en version préliminaire publique. Avec ce lancement, vous pouvez exécuter votre application basée sur Apache Flink ainsi que d'autres types d'applications sur le même cluster Amazon. EKS Cela permet d'améliorer l'utilisation des ressources et de simplifier la gestion de l'infrastructure. Si vous utilisez déjà des frameworks Big Data sur AmazonEKS, vous pouvez désormais laisser Amazon EMR automatiser votre provisionnement et votre gestion.