Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Amazon EMR sur les EKS versions 7.2.0
Cette page décrit les fonctionnalités nouvelles et mises à jour pour Amazon EMR qui sont spécifiques à Amazon en cours EMR de EKS déploiement. Pour en savoir plus sur l'EMRexécution d'Amazon sur Amazon EC2 et sur la version EMR 7.2.0 en général, consultez Amazon EMR 7.2.0 dans le guide des EMRversions d'Amazon.
Amazon EMR sur les versions EKS 7.2
Les versions EMR 7.2.0 d'Amazon suivantes sont disponibles pour Amazon EMR surEKS. Sélectionnez une XXXX version emr-7.2.0- spécifique pour afficher plus de détails, tels que la balise d'image du conteneur associée.
Notes de mise à jour
Notes de mise à jour pour Amazon EMR sur EKS 7.2.0
-
Applications prises en charge ‐ AWS SDK for Java 2.23.18 and 1.12.705, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.5.0-amzn-0, Delta 3.1.0, Apache Spark RAPIDS 24.02.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.8.0-amzn-1
-
Composants pris en charge :
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classifications de configuration prises en charge
À utiliser avec StartJobRunet CreateManagedEndpointAPIs:
Classifications Descriptions core-siteModifiez les valeurs dans le fichier Hadoop
core-site.xml.emrfs-siteModifiez EMRFS les paramètres.
spark-metricsModifiez les valeurs dans le fichier Spark
metrics.properties.spark-defaultsModifiez les valeurs dans le fichier Spark
spark-defaults.conf.spark-envModifiez les valeurs dans l'environnement Spark.
spark-hive-siteModifiez les valeurs dans le fichier Spark
hive-site.xml.spark-log4j2Modifiez les valeurs dans le fichier Spark
log4j2.properties.emr-job-submitterConfiguration pour le pod soumissionnaire de tâches.
À utiliser spécifiquement avec CreateManagedEndpointAPIs:
Classifications Descriptions jeg-configModifiez les valeurs dans le fichier
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifiez la valeur de l'image du noyau dans le fichier Jupyter Kernel Spec.
Les classifications de configuration vous permettent de personnaliser les applications. Ils correspondent souvent à un XML fichier de configuration de l'application, tel que
spark-hive-site.xml. Pour plus d'informations, consultez la rubrique Configuration des applications.
Fonctionnalités notables
Les fonctionnalités suivantes sont incluses dans la version 7.2.0 d'Amazon EMR leEKS.
-
Mises à niveau des applications — Les mises à niveau des applications Amazon EMR on EKS 7.2.0 incluent Spark 3.5.1, Flink 1.18.1 et Flink Operator 1.8.0.
-
Mises à jour d'Autoscaler for Flink — La version 7.2.0 utilise la configuration open source
job.autoscaler.restart.time-tracking.enabledpour permettre l'estimation du temps de redimensionnement, de sorte que vous n'avez plus à attribuer manuellement des valeurs empiriques à l'heure de redémarrage. Si vous utilisez la version 7.1.0 ou une version antérieure, vous pouvez toujours utiliser Amazon EMR Autoscaling. -
Intégration d'Apache Hudi Apache Flink EMR sur Amazon on EKS — Cette version ajoute une intégration entre Apache Hudi et Apache Flink, afin que vous puissiez utiliser l'opérateur Flink Kubernetes pour exécuter des tâches Hudi. Hudi vous permet d'utiliser des opérations au niveau des enregistrements que vous pouvez utiliser pour simplifier la gestion des données et le développement de pipelines de données.
-
Intégration d'Amazon S3 Express One Zone à Amazon EMR on EKS — Avec la version 7.2.0 et les versions ultérieures, vous pouvez télécharger des données dans la zone S3 Express One avec Amazon EMR activéEKS. S3 Express One Zone est une classe de stockage Amazon S3 à zone unique à hautes performances qui fournit un accès aux données constant à un chiffre en millisecondes pour la plupart des applications sensibles à la latence. À son lancement, S3 Express One Zone offre la latence la plus faible et les meilleures performances de stockage d’objets cloud dans Amazon S3.
-
Support des configurations par défaut dans l'opérateur Spark — L'opérateur Spark sur Amazon prend EKS désormais en charge les mêmes configurations par défaut que le modèle Start Job Run EMR sur Amazon EKS pour les versions 7.2.0 et supérieures. Cela signifie que les fonctionnalités telles qu'Amazon S3 EMRFS ne nécessitent plus de configurations manuelles dans le fichier yaml.
