Amazon EMR sur les EKS versions 6.10.0 - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon EMR sur les EKS versions 6.10.0

Les versions Amazon EMR 6.10.0 suivantes sont disponibles pour Amazon EMR sur. EKS Sélectionnez une XXXX version emr-6.10.0- spécifique pour afficher plus de détails, tels que la balise d'image du conteneur associée.

Notes de mise à jour pour Amazon EMR 6.10.0

  • Applications prises en charge ‐ AWS SDK for Java 1.12.397, Spark 3.3.1-amzn-0, Hudi 0.12.2-amzn-0, Iceberg 1.1.0-amzn-0, Delta 2.2.0.

  • Composants pris en charge : aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Classifications de configuration prises en charge :

    À utiliser avec StartJobRunet  CreateManagedEndpointAPIs:

    Classifications Descriptions

    core-site

    Modifiez les valeurs dans le fichier core-site.xml de Hadoop.

    emrfs-site

    Modifiez EMRFS les paramètres.

    spark-metrics

    Modifiez les valeurs dans le fichier metrics.properties de Spark.

    spark-defaults

    Modifiez les valeurs dans le fichier spark-defaults.conf de Spark.

    spark-env

    Modifiez les valeurs dans l'environnement Spark.

    spark-hive-site

    Modifiez les valeurs dans le fichier hive-site.xml de Spark.

    spark-log4j

    Modifiez les valeurs dans le fichier log4j.properties de Spark.

    À utiliser spécifiquement avec  CreateManagedEndpointAPIs:

    Classifications Descriptions

    jeg-config

    Modifiez les valeurs dans le fichier jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.

    Les classifications de configuration vous permettent de personnaliser les applications. Ils correspondent souvent à un XML fichier de configuration de l'application, tel quespark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.

Fonctionnalités notables

  • Opérateur Spark : avec Amazon EMR EKS version 6.10.0 ou ultérieure, vous pouvez utiliser l'opérateur Kubernetes pour Apache Spark, ou l'opérateur Spark, pour déployer et gérer des applications Spark avec le runtime Amazon EMR Release sur vos propres clusters Amazon. EKS Pour de plus amples informations, veuillez consulter Exécution de tâches Spark à l'aide de l'opérateur Spark.

  • Java 11 - Avec Amazon EKS 6.10 EMR ou version ultérieure, vous pouvez lancer Spark avec l'environnement d'exécution Java 11. Pour ce faire, indiquez emr-6.10.0-java11-latest comme étiquette de version. Nous vous recommandons de valider et d'exécuter des tests de performance avant de transférer vos charges de travail de production de l'image Java 8 vers l'image Java 11.

  • Pour l'intégration d'Amazon Redshift à Apache Sparkminimal-json.jar, Amazon EMR EKS 6.10.0 supprime la dépendance à et ajoute automatiquement les fichiers jar spark-redshift associés requis au chemin de classe de l'exécuteur pour Spark :, et. spark-redshift.jar spark-avro.jar RedshiftJDBC.jar

Modifications

  • EMRFSLe validateur optimisé pour S3 est désormais activé par défaut pour le parquet et les formats basés sur ORC le texte (y compris et). CSV JSON