Amazon EMR auf EKS 6.7.0-Versionen - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon EMR auf EKS 6.7.0-Versionen

Die folgenden Amazon EMR 6.7.0-Versionen sind für Amazon EMR am EKS verfügbar. Wählen Sie eine bestimmte XXXXemr-6.7.0-Version aus, um weitere Details wie das zugehörige Container-Image-Tag anzuzeigen.

Versionshinweise für Amazon EMR 6.7.0

  • Unterstützte Anwendungen – Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.

  • Unterstützte Komponenten – aws-hm-client (Glue-Konnektor), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb, hudi-spark.

  • Mit dem Upgrade auf JEG 2.6 ist die Kernelverwaltung jetzt asynchron, was bedeutet, dass JEG Transaktionen nicht blockiert werden, wenn ein Kernel-Start im Gange ist. Dies verbessert die Benutzererfahrung erheblich, da Folgendes bereitgestellt wird:

    • Fähigkeit, Befehle in aktuell laufenden Notebooks auszuführen, wenn andere Kernelstarts im Gange sind

    • Fähigkeit, mehrere Kernel gleichzeitig zu starten, ohne dass sich dies auf bereits laufende Kernel auswirkt

  • Unterstützte Konfigurationsklassifizierungen:

    Klassifizierungen Beschreibungen

    core-site

    Ändern Sie die Werte in der core-site.xml-Hadoop-Datei.

    emrfs-site

    EMRFSEinstellungen ändern.

    spark-metrics

    Ändern Sie die Werte in der metrics.properties-Spark-Datei.

    spark-defaults

    Ändern Sie die Werte in der spark-defaults.conf-Spark-Datei.

    spark-env

    Ändert die Werte in der Spark-Umgebung.

    spark-hive-site

    Ändern Sie die Werte in der hive-site.xml-Spark-Datei.

    spark-log4j

    Ändern Sie die Werte in der log4j.properties-Spark-Datei.

    Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Diese entsprechen häufig einer XML Konfigurationsdatei für die Anwendung, z. spark-hive-site.xml B. Weitere Informationen finden Sie unter Configuring Applications.

Gelöste Probleme

  • Amazon EMR auf EKS 6.7 behebt ein Problem in 6.6 bei der Verwendung der Pod-Vorlagenfunktion von Apache Spark mit interaktiven Endpunkten. Das Problem trat bei EMR Amazon in den EKS Versionen 6.4, 6.5 und 6.6 auf. Sie können jetzt Pod-Vorlagen verwenden, um zu definieren, wie Ihre Spark-Treiber- und Ausführer-Pods starten, wenn Sie interaktive Endpunkte zur Ausführung interaktiver Analysen verwenden.

  • In früheren EMR EKS Amazon-On-Versionen blockierte Jupyter Enterprise Gateway Transaktionen, wenn der Kernelstart im Gange war, was die Ausführung der aktuell laufenden Notebook-Sitzungen behinderte. Sie können jetzt Befehle in aktuell laufenden Notebooks ausführen, wenn andere Kernelstarts im Gange sind. Sie können auch mehrere Kernel gleichzeitig starten, ohne das Risiko einzugehen, die Konnektivität zu Kerneln zu verlieren, die bereits laufen.