Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Versionen von Amazon EMR in EKS 6.11.0
Auf dieser Seite werden die neuen und aktualisierten Funktionen für Amazon EMR beschrieben, die spezifisch für die Bereitstellung von Amazon EMR in EKS sind. Einzelheiten zur Ausführung von Amazon EMR auf Amazon EC2 und zur Version Amazon EMR 6.11.0 im Allgemeinen finden Sie unter Amazon EMR 6.11.0 im Amazon EMR-Versionshandbuch.
Amazon EMR in EKS 6.11 Versionen
Die folgenden Amazon-EMR-6.11.0-Versionen sind für Amazon EMR in EKS verfügbar. Wählen Sie eine bestimmte EMR-6.11.0-xxxx-Version aus, um weitere Details wie das zugehörige Container-Image-Tag anzuzeigen.
-
emr-6.11.0- spark-rapids-latest
-
emr-6.11.0-spark-rapids-20230509
-
emr-6.11.0-java11-latest
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-latest
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-latest
-
notebook-python/emr-6.11.0-20230509
Versionshinweise
Versionshinweise für Amazon EMR in EKS 6.11.0
-
Unterstützte Anwendungen ‐ AWS SDK for Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark RAPIDS 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
Unterstützte Komponenten –
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Unterstützte Konfigurationsklassifizierungen
StartJobRunZur CreateManagedEndpoint APIsVerwendung mit und:
Klassifizierungen Beschreibungen core-siteÄndern Sie die Werte in der
core-site.xml-Hadoop-Datei.emrfs-siteÄndert die EMRFS-Einstellungen.
spark-metricsÄndern Sie die Werte in der
metrics.properties-Spark-Datei.spark-defaultsÄndern Sie die Werte in der
spark-defaults.conf-Spark-Datei.spark-envÄndert die Werte in der Spark-Umgebung.
spark-hive-siteÄndern Sie die Werte in der
hive-site.xml-Spark-Datei.spark-log4jÄndern Sie die Werte in der
log4j.properties-Spark-Datei.Speziell zur Verwendung mit CreateManagedEndpoint APIs:
Klassifizierungen Beschreibungen jeg-configÄndern Sie die Werte in der Jupyter-Enterprise-Gateway-Datei
jupyter_enterprise_gateway_config.py.jupyter-kernel-overridesÄndern Sie den Wert für das Kernel-Image in der Jupyter-Kernel-Spec-Datei.
Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Diese entsprechen häufig einer XML-Konfigurationsdatei für die Anwendung, z. B.
spark-hive-site.xmlWeitere Informationen finden Sie unter Konfigurieren von Anwendungen.
Bemerkenswerte Features
Die folgenden Features sind in der Version 6.11 von Amazon EMR in EKS enthalten.
-
Amazon EMR in EKS-Basis-Image in Amazon ECR Public Gallery – Wenn Sie die Funktion für benutzerdefinierte Images verwenden, bietet unser Basis-Image die wesentlichen Jars, Konfigurationen und Bibliotheken für die Interaktion mit Amazon EMR in EKS. Sie finden das Basis-Image jetzt in der Amazon ECR Public Gallery
. -
Spark-Container-Log-Rotation – Amazon EMR in EKS 6.11 unterstützt die Spark-Container-Protokoll-Rotation. Sie können die Funktion
containerLogRotationConfigurationinnerhalb desMonitoringConfiguration-Betriebs derStartJobRun-API aktivieren. Sie können dasrotationSizeund konfigurierenmaxFilestoKeep, um die Anzahl und Größe der Protokolldateien anzugeben, die Amazon EMR in EKS in den Spark-Treiber- und Ausführer-Pods speichern soll. Weitere Informationen finden Sie unter Verwenden der Spark-Container-Protokoll-Rotation. -
Volcano-Unterstützung in Spark-Operator und Spark-Submit – Amazon EMR in EKS 6.11 unterstützt die Ausführung von Spark-Aufträge mit Volcano als benutzerdefiniertem Kubernetes-Scheduler in Spark-Operator und Spark-Submit. Sie können Features wie Gruppenplanung, Warteschlangenverwaltung, Präemption und Fair-Share-Scheduling verwenden, um einen hohen Planungsdurchsatz und eine optimierte Kapazität zu erreichen. Weitere Informationen finden Sie unter Verwendung von Volcano als benutzerdefiniertem Scheduler für Apache Spark auf Amazon EMR in EKS.
