Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Versions 6.11.0 d'Amazon EMR on EKS
Cette page décrit les fonctionnalités nouvelles et mises à jour d'Amazon EMR spécifiques au déploiement d'Amazon EMR on EKS. Pour en savoir plus sur Amazon EMR exécuté sur Amazon EC2 et sur la version 6.11.0 d'Amazon EMR en général, consultez Amazon EMR 6.11.0 dans le guide de mise à jour d'Amazon EMR.
Versions 6.11 d'Amazon EMR on EKS
Les versions 6.11.0 suivantes d'Amazon EMR sont disponibles pour Amazon EMR on EKS. Sélectionnez une version emr-6.11.0-XXXX spécifique pour voir plus de détails tels que la balise de l'image du conteneur correspondant.
-
emr-6.11.0- spark-rapids-latest
-
emr-6.11.0-spark-rapids-20230509
-
emr-6.11.0-java11-latest
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-latest
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-latest
-
notebook-python/emr-6.11.0-20230509
Notes de mise à jour
Notes de mise à jour pour Amazon EMR on EKS 6.11.0
-
Applications prises en charge ‐ AWS SDK for Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark RAPIDS 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
Composants pris en charge :
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classifications de configuration prises en charge
À utiliser avec StartJobRunet CreateManagedEndpoint APIs:
Classifications Descriptions core-siteModifiez les valeurs dans le fichier Hadoop
core-site.xml.emrfs-siteModifiez les paramètres EMRFS.
spark-metricsModifiez les valeurs dans le fichier Spark
metrics.properties.spark-defaultsModifiez les valeurs dans le fichier Spark
spark-defaults.conf.spark-envModifiez les valeurs dans l'environnement Spark.
spark-hive-siteModifiez les valeurs dans le fichier Spark
hive-site.xml.spark-log4jModifiez les valeurs dans le fichier Spark
log4j.properties.À utiliser spécifiquement avec CreateManagedEndpoint APIs:
Classifications Descriptions jeg-configModifiez les valeurs dans le fichier
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.
Les classifications de configuration vous permettent de personnaliser les applications. Elles correspondent souvent à un fichier XML de configuration de l'application, tel que
spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.
Fonctionnalités notables
Les fonctionnalités suivantes sont incluses dans la version 6.11 d'Amazon EMR on EKS.
-
Image de base Amazon EMR on EKS dans la galerie publique Amazon ECR – Si vous utilisez la fonctionnalité d'image personnalisée, notre image de base fournit les fichiers jar, la configuration et les bibliothèques essentiels pour interagir avec Amazon EMR on EKS. Vous pouvez désormais trouver l'image de base dans la galerie publique Amazon ECR
. -
Rotation des journaux des conteneurs Spark – Amazon EMR on EKS 6.11 prend en charge la rotation des journaux des conteneurs Spark. Vous pouvez activer cette fonctionnalité avec
containerLogRotationConfigurationdans le cadre de l'opérationMonitoringConfigurationde l'APIStartJobRun. Vous pouvez configurerrotationSizeetmaxFilestoKeeppour spécifier le nombre et la taille des fichiers journaux que vous souhaitez qu'Amazon EMR on EKS conserve dans les pods de pilotes et d'exécuteurs Spark. Pour de plus amples informations, veuillez consulter Utilisation de la rotation des journaux des conteneurs Spark. -
Prise en charge de Volcano dans l'opérateur Spark et spark-submit – Amazon EMR on EKS 6.11 prend en charge l'exécution de tâches Spark avec Volcano en tant que planificateur personnalisé Kubernetes dans l'opérateur Spark et spark-submit. Vous pouvez utiliser des fonctionnalités telles que la planification groupée, la gestion des files d'attente, la préemption et la planification équitable pour obtenir un débit de planification élevé et une capacité optimisée. Pour de plus amples informations, veuillez consulter Utilisation de Volcano comme planificateur personnalisé pour Apache Spark sur Amazon EMR on EKS.
