Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Amazon EMR sur les versions EKS 6.15.0
Cette page décrit les fonctionnalités nouvelles et mises à jour pour Amazon EMR qui sont spécifiques à Amazon en cours EMR de EKS déploiement. Pour plus d'informations sur l'EMRexécution d'Amazon sur Amazon EC2 et sur la version Amazon EMR 6.15.0 en général, consultez Amazon EMR 6.15.0 dans le guide des versions d'Amazon. EMR
Amazon EMR sur les EKS versions 6.15
Les versions Amazon EMR 6.15.0 suivantes sont disponibles pour Amazon EMR sur. EKS Sélectionnez une XXXX version emr-6.15.0- spécifique pour afficher plus de détails, tels que la balise d'image du conteneur associée.
Notes de mise à jour
Notes de mise à jour pour Amazon EMR sur la version EKS 6.15.0
-
Applications prises en charge ‐ AWS SDK for Java 1.12.569, Apache Spark 3.4.1-amzn-2, Apache Flink 1.17.1-amzn-1, Apache Hudi 0.14.0-amzn-0, Apache Iceberg 1.4.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.08.01-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
Composants pris en charge :
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classifications de configuration prises en charge
À utiliser avec StartJobRunet CreateManagedEndpointAPIs:
Classifications Descriptions core-siteModifiez les valeurs dans le fichier Hadoop
core-site.xml.emrfs-siteModifiez EMRFS les paramètres.
spark-metricsModifiez les valeurs dans le fichier Spark
metrics.properties.spark-defaultsModifiez les valeurs dans le fichier Spark
spark-defaults.conf.spark-envModifiez les valeurs dans l'environnement Spark.
spark-hive-siteModifiez les valeurs dans le fichier Spark
hive-site.xml.spark-log4jModifiez les valeurs dans le fichier Spark
log4j2.properties.emr-job-submitterConfiguration pour le pod soumissionnaire de tâches.
À utiliser spécifiquement avec CreateManagedEndpointAPIs:
Classifications Descriptions jeg-configModifiez les valeurs dans le fichier
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.
Les classifications de configuration vous permettent de personnaliser les applications. Ils correspondent souvent à un XML fichier de configuration de l'application, tel que
spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.
Fonctionnalités notables
Les fonctionnalités suivantes sont incluses dans la version 6.15 d'Amazon EMR onEKS.
-
Amazon EMR EKS avec Apache Flink - Avec Amazon EKS 6.15.0, vous pouvez exécuter votre application basée EMR sur Apache Flink ainsi que d'autres types d'applications sur le même cluster Amazon. EKS Cela permet d'améliorer l'utilisation des ressources et de simplifier la gestion de l'infrastructure. Vous pouvez tirer parti des instances Spot dans une application Flink grâce à une mise hors service progressive et accélérer les temps de redémarrage grâce à une restauration fine et à une restauration locale des tâches avec Amazon. EBS Les fonctionnalités d'accessibilité et de surveillance incluent la possibilité de lancer une application Flink avec des fichiers JAR stockés dans Amazon S3, l'accès au catalogue de données AWS Glue, le suivi de l'intégration avec Amazon S3 et Amazon CloudWatch et la rotation des journaux de conteneurs.
