Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon EMR auf EKS 7.2.0-Versionen
Auf dieser Seite werden die neuen und aktualisierten Funktionen für Amazon EMR beschrieben, die spezifisch für die Bereitstellung von Amazon EMR in EKS sind. Einzelheiten zu Amazon EMR, das auf Amazon EC2 ausgeführt wird, und zur Amazon EMR-Version 7.2.0 im Allgemeinen finden Sie unter Amazon EMR 7.2.0 im Amazon EMR-Versionshandbuch.
Amazon EMR in EKS 7.2-Versionen
Die folgenden Amazon EMR 7.2.0-Versionen sind für Amazon EMR auf EKS verfügbar. Wählen Sie eine bestimmte EMR-7.2.0-xxxx-Version aus, um weitere Details wie das zugehörige Container-Image-Tag anzuzeigen.
Versionshinweise
Versionshinweise für Amazon EMR auf EKS 7.2.0
-
Unterstützte Anwendungen – AWS SDK für Java 2.23.18 and 1.12.705, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.5.0-amzn-0, Delta 3.1.0, Apache Spark RAPIDS 24.02.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.8.0-amzn-1
-
Unterstützte Komponenten –
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Unterstützte Konfigurationsklassifizierungen
Zur Verwendung mit StartJobRun und CreateManagedEndpoint APIs:
Klassifizierungen Beschreibungen core-siteÄndern Sie die Werte in der
core-site.xml-Hadoop-Datei.emrfs-siteÄndert die EMRFS-Einstellungen.
spark-metricsÄndern Sie die Werte in der
metrics.properties-Spark-Datei.spark-defaultsÄndern Sie die Werte in der
spark-defaults.conf-Spark-Datei.spark-envÄndert die Werte in der Spark-Umgebung.
spark-hive-siteÄndern Sie die Werte in der
hive-site.xml-Spark-Datei.spark-log4j2Ändern Sie die Werte in der
log4j2.properties-Spark-Datei.emr-job-submitterKonfiguration für den Auftragsübermittler-Pod.
Zur speziellen Verwendung mit CreateManagedEndpoint APIs:
Klassifizierungen Beschreibungen jeg-configÄndern Sie die Werte in der Jupyter-Enterprise-Gateway-Datei
jupyter_enterprise_gateway_config.py.jupyter-kernel-overridesÄndern Sie den Wert für das Kernel-Image in der Jupyter-Kernel-Spec-Datei.
Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Diese entsprechen häufig einer XML-Konfigurationsdatei für die Anwendung, z. B.
spark-hive-site.xmlWeitere Informationen finden Sie unter Konfigurieren von Anwendungen.
Bemerkenswerte Features
Die folgenden Funktionen sind in der Version 7.2.0 von Amazon EMR auf EKS enthalten.
-
Anwendungs-Upgrades — Zu den Anwendungs-Upgrades für Amazon EMR auf EKS 7.2.0 gehören Spark 3.5.1, Flink 1.18.1 und Flink Operator 1.8.0. https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/jobruns-flink-kubernetes-operator.html
-
Autoscaler für Flink-Updates — Die Version 7.2.0 verwendet die Open-Source-Konfiguration, um die Zeitschätzung der Neuskalierung
job.autoscaler.restart.time-tracking.enabledzu ermöglichen, sodass Sie der Neustartzeit keine empirischen Werte mehr manuell zuweisen müssen. Wenn Sie 7.1.0 oder niedriger ausführen, können Sie Amazon EMR Autoscaling weiterhin verwenden. -
Apache Hudi-Integration Apache Flink auf Amazon EMR auf EKS — Diese Version fügt eine Integration zwischen Apache Hudi und Apache Flink hinzu, sodass Sie den Flink Kubernetes-Operator verwenden können, um Hudi-Jobs auszuführen. Mit Hudi können Sie Operationen auf Datensatzebene verwenden, mit denen Sie das Datenmanagement und die Entwicklung von Datenpipelines vereinfachen können.
-
Amazon S3 Express One Zone-Integration mit Amazon EMR auf EKS — Mit 7.2.0 und höher können Sie Daten mit Amazon EMR auf EKS in die S3 Express One Zone hochladen. S3 Express One Zone ist eine leistungsstarke Amazon S3-Speicherklasse mit einer Zone, die einen konsistenten Datenzugriff im einstelligen Millisekundenbereich für die meisten latenzempfindlichen Anwendungen bietet. Zum Zeitpunkt seiner Veröffentlichung bietet S3 Express One Zone den Cloud-Objektspeicher mit der niedrigsten Latenz und der höchsten Leistung in Amazon S3.
-
Unterstützung für Standardkonfigurationen im Spark-Operator — Der Spark-Operator auf Amazon EKS unterstützt jetzt dieselben Standardkonfigurationen wie das Start-Job-Run-Modell auf Amazon EMR auf EKS für 7.2.0 und höher. Das bedeutet, dass Funktionen wie Amazon S3 und EMRFS keine manuellen Konfigurationen mehr in der Yaml-Datei erfordern.
