Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
AWS Laufzeit für Apache Spark (emr-spark-8.1.0) auf EKS
Auf dieser Seite werden die neuen und aktualisierten Funktionen für Amazon EMR beschrieben, die spezifisch für die Bereitstellung von Amazon EMR in EKS sind. Einzelheiten zur Ausführung von Amazon EMR auf Amazon EC2 und zur Amazon EMR Spark-Version 8.1.0 im Allgemeinen finden Sie unter AWS Runtime for Apache Spark (emr-spark-8.1.0) im Amazon EMR-Versionshandbuch.
AWS Laufzeit für Apache Spark (emr-spark-8.1.0) auf EKS
Die folgenden emr-spark-8.1.0-Image-Tags sind zur Laufzeit für Apache Spark auf EKS verfügbar. AWS
Versionshinweise
Versionshinweise für AWS Runtime für Apache Spark (emr-spark-8.1.0) auf EKS:
-
Unterstützte Anwendungen – AWS SDK for Java 2.x 2.44.5, Apache Spark 4.1.1-amzn-0, Apache Hudi 1.1.1-amzn-0, Apache Iceberg 1.11.0-amzn-0, Delta Lake 4.2.0-amzn-0, Apache Spark RAPIDS 26.04.2-amzn-0
-
Unterstützte Komponenten ‐
emr-ddb,,,,,emr-goodies,hadoop-client.hudihudi-sparkicebergspark-kubernetes -
Unterstützte Konfigurationsklassifizierungen
Zur Verwendung mit StartJobRun und CreateManagedEndpoint APIs:
Klassifizierungen Beschreibungen core-siteÄndern Sie die Werte in der
core-site.xml-Hadoop-Datei.spark-metricsÄndern Sie die Werte in der
metrics.properties-Spark-Datei.spark-defaultsÄndern Sie die Werte in der
spark-defaults.conf-Spark-Datei.spark-envÄndert die Werte in der Spark-Umgebung.
spark-hive-siteÄndern Sie die Werte in der
hive-site.xml-Spark-Datei.spark-log4j2Ändern Sie die Werte in der
log4j2.properties-Spark-Datei.emr-job-submitterKonfiguration für den Auftragsübermittler-Pod.
Zur speziellen Verwendung mit CreateManagedEndpoint APIs:
Klassifizierungen Beschreibungen jeg-configÄndern Sie die Werte in der Jupyter-Enterprise-Gateway-Datei
jupyter_enterprise_gateway_config.py.jupyter-kernel-overridesÄndern Sie den Wert für das Kernel-Image in der Jupyter-Kernel-Spec-Datei.
Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.
Änderungen und Funktionen
Die folgenden Funktionen sind in der AWS Runtime-Version emr-spark-8.1.0 für Apache Spark auf EKS enthalten:
-
Spark Connect auf Amazon EMR auf EKS — Amazon EMR auf EKS-Clustern, auf denen emr-spark-8.1.0 ausgeführt wird, unterstützt jetzt Spark Connect-Endpunkte mit tokenbasierter Authentifizierung. Informationen zur Einrichtung und Konfiguration finden Sie unter Ausführen interaktiver Sitzungen mit Amazon EMR auf EKS über Spark Connect im Amazon EMR on EKS-Entwicklungshandbuch.
-
Amazon EMR on EKS Job Runner Pod Graceful Termination — Die Amazon EMR on
jobsubmitter.gracefulTerminationEKS-Konfiguration ist standardmäßig für emr-spark-8.1.0 und nachfolgende Versionen aktiviert. Informationen zur Einrichtung und Konfiguration finden Sie unter Using Job Submitter Classification im Amazon EMR on EKS Development Guide.
Gelöste Probleme
-
Stabilität der Livy-Endpunkte nach der Kubernetes-Token-Rotation — Es wurde ein Problem behoben, bei dem Amazon EMR auf von EKS verwalteten Livy-Endpunkten unbrauchbar werden konnte, nachdem das Kubernetes-Dienstkonto-Token rotiert wurde und zuvor für die Wiederherstellung ein Pod-Neustart erforderlich war. Livy aktualisiert jetzt automatisch seine Anmeldeinformationen, wenn das projizierte Dienstkonto-Token rotiert wird.
-
Spark Operator-Anwendungen auf IPv6-only EKS-Clustern behoben — Spark Operator-Anwendungen auf IPv6-only EKS-Clustern können aufgrund einer falsch formatierten Kubernetes-API-Server-URL für emr-spark-8.1.0 und nachfolgende Versionen nicht mehr gesendet werden. Informationen zur Einrichtung und Konfiguration finden Sie unter Ausführen von EMR auf EKS auf IPv6-Clustern im Amazon EMR on EKS-Entwicklungshandbuch.
