Neuerungen? - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Neuerungen?

Auf dieser Seite werden die Änderungen und Funktionen beschrieben, die in den neuesten Versionen von Amazon EMR 7.x, 6.x und 5.x verfügbar sind.

Diese Versionshinweise sind auch auf den Seiten Amazon EMR 7.3.0, Amazon EMR 6.15.0 und Amazon EMR 5.36.2 verfügbar, zusammen mit den Anwendungsversionen, Komponentenversionen und verfügbaren Konfigurationsklassifizierungen für jede Version.

Anmerkung

Spätere Versionen von Amazon EMR verwenden AWS Signature Version 4 (SigV4), um Anfragen an Amazon S3 zu authentifizieren. Wir empfehlen Ihnen, eine EMR Amazon-Version zu verwenden, die SigV4 damit Sie auf neue S3-Buckets zugreifen und Unterbrechungen Ihrer Workloads vermeiden können. Weitere Informationen und eine Liste der EMR Amazon-Versionen, die unterstützen SigV4, finden Sie unter Amazon EMR und AWS Signature Version 4.

Amazon EMR 7.3.0 (neueste Version der 7.x-Serie)

Neue EMR Amazon-Versionen werden in verschiedenen Regionen über einen Zeitraum von mehreren Tagen verfügbar gemacht, beginnend mit der ersten Region am ursprünglichen Veröffentlichungsdatum. Die neueste Version ist in diesem Zeitraum möglicherweise nicht in Ihrer Region verfügbar.

Die folgenden Versionshinweise enthalten Informationen für EMR Amazon-Version 7.3.0. Die Änderungen beziehen sich auf 7.3.0.

Neue Features
  • Anwendungs-Upgrades — Amazon EMR 7.3.0 application upgrades include Delta 3.2.0-amzn-0, Hudi 0.15.0-amzn-0, TensorFlow 2.16.1, Trino 442, and Zeppelin 11.1.

  • Diese Version fügt 22 Open-Source-Endpunkte hinzu, die die Verschlüsselung während der Übertragung über das Netzwerk unterstützen. Diese Verbesserung umfasst Open-Source-Frameworks wie Hadoop, Hive, Tez, Phoenix und Flink. Wenn Sie die Verschlüsselung während der Übertragung aktiviert haben und eine Verbindung zu diesen Endpunkten herstellen möchten, müssen Sie möglicherweise Ihren Code ändern, um die Kommunikation zu unterstützen. TLS Sie können sie TLS nach Bedarf für jeden dieser Endpunkte deaktivieren. Eine vollständige Liste der unterstützten Endpunkte finden Sie unter Grundlegendes zur Unterstützungsmatrix für Verschlüsselung bei der Übertragung.

  • Mit Amazon EMR 7.3.0 unterstützt Apache Hive with Iceberg jetzt den AWS Glue-Datenkatalog als Metastore, was Ihnen Vorteile wie ein zentrales Repository zum Speichern von Metadaten, das automatische Crawlen von Datenquellen und das Extrahieren von Metadaten sowie die Integration mit anderen Diensten für reibungslose Workflows bietet.

Bekannte Probleme
  • Python 3.11 wird von EMR Studio nicht unterstützt.

  • Wenn Sie Verschlüsselung bei der Übertragung und Kerberos-Authentifizierung verwenden, können Sie keine Spark-Anwendungen verwenden, die vom Hive-Metastore abhängig sind. Dieses Problem wurde in HIVE-16340 behoben und wird in SPARK-44114 vollständig behoben, wenn Open-Source-Spark auf Hive 3 aktualisiert werden kann. In der Zwischenzeit können Sie dieses Problem vorübergehend umgehen, indem Sie auf einstellen. hive.metastore.use.SSL false Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

    • Wenn Sie die Kerberos-Authentifizierung nicht verwenden, müssen Sie Spark für die Verwendung konfigurieren. SSL Stellen Sie dazu bei der Bereitstellung Ihres Clusters die folgenden Konfigurationen ein.

      [{ "Classification": "spark-defaults", "Properties": { "spark.hadoop.hive.metastore.truststore.path": "/usr/share/aws/emr/security/conf/keystore-thrift.jks", "spark.hadoop.hive.metastore.use.SSL": "true" } }]
Änderungen, Verbesserungen und behobene Probleme
  • Um die Überprüfung TLS des Hostnamens für zu unterstützenYARN, ändert diese Version die yarn.resourcemanager.hostname Konfiguration von der IP-Adresse der primären Instanz in den privaten DNS Namen der primären Instanz.

  • Wenn Sie einen Cluster mit der neuesten Patch-Version von Amazon EMR 5.36 oder höher, 6.6 oder höher oder 7.0 oder höher starten, EMR verwendet Amazon die neueste Version von Amazon Linux 2023 oder Amazon Linux 2 als EMR AMI Standard-Amazon-Version. Weitere Informationen finden Sie unter Verwenden des standardmäßigen Amazon Linux AMI für Amazon EMR.

    OsReleaseLabel (Amazon Linux-Version) Amazon-Linux-Kernversion Verfügbarkeitsdatum Unterstützte Regionen
    2023,5.20240916 6.1.109-118.189.amzn2023 6. September 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten AWS GovCloud (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), (US-Ost), China (Peking), China (Ningxia), Asien Pazifik (Hyderabad), Naher Osten (UAE), Europa (Spanien), Europa (Zürich), Asien-Pazifik (Melbourne), Israel (Tel Aviv), Kanada West (Calgary)

Amazon EMR 6.15.0 (neueste Version der 6.x-Serie)

Neue EMR Amazon-Versionen werden in verschiedenen Regionen über einen Zeitraum von mehreren Tagen verfügbar gemacht, beginnend mit der ersten Region am ursprünglichen Veröffentlichungsdatum. Die neueste Version ist in diesem Zeitraum möglicherweise nicht in Ihrer Region verfügbar.

Die folgenden Versionshinweise enthalten Informationen für EMR Amazon-Version 6.15.0. Änderungen beziehen sich auf Version 6.14.0. Informationen zum Zeitplan für die Veröffentlichung finden Sie unter 6.15.0 Änderungsprotokoll.

Neue Features
  • Anwendungs-Upgrades — Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.

  • Schnellere Starts für EMR Cluster, die auf einem Cluster laufen EC2 — Es ist jetzt bis zu 35% schneller, einen EMR EC2 Amazon-On-Cluster zu starten. Mit dieser Verbesserung können die meisten Kunden ihre Cluster in 5 Minuten oder weniger starten.

  • CodeWhisperer für EMR Studio — Sie können Amazon jetzt CodeWhisperer mit Amazon EMR Studio verwenden, um Empfehlungen in Echtzeit zu erhalten, während Sie Code einschreiben JupyterLab. CodeWhisperer kann Ihre Kommentare vervollständigen, einzelne Codezeilen fertigstellen, line-by-line Empfehlungen aussprechen und vollständig formatierte Funktionen generieren.

  • Schnellere Job-Neustartzeiten mit Flink — Mit Amazon EMR 6.15.0 und höher sind mehrere neue Mechanismen für Apache Flink verfügbar, um die Job-Neustartzeit bei Aufgabenwiederherstellungs- oder Skalierungsvorgängen zu verbessern. Dadurch wird die Geschwindigkeit der Wiederherstellung und des Neustarts von Ausführungsdiagrammen optimiert, um die Auftragsstabilität zu verbessern.

  • Detaillierte Zugriffskontrolle auf Tabellenebene für Open-Table-Formate — Wenn Sie mit Amazon EMR 6.15.0 und höher Spark-Jobs auf Amazon auf EC2 Clustern ausführen, die auf Daten im AWS Glue-Datenkatalog zugreifen, können Sie damit Berechtigungen EMR auf Tabellen-, Zeilen-, Spalten- und Zellenebene auf Hudi-, Iceberg- oder Delta Lake-basierte Tabellen anwenden. AWS Lake Formation

  • Hadoop-Upgrade — Amazon EMR 6.15.0 beinhaltet ein Upgrade von Apache Hadoop auf Version 3.3.6. Hadoop 3.3.6 war die neueste Version zum Zeitpunkt der Bereitstellung von Amazon EMR 6.15, die im Juni 2023 von Apache veröffentlicht wurde. Frühere Versionen von Amazon EMR (6.9.0 bis 6.14.x) verwendeten Hadoop 3.3.3.

    Das Upgrade umfasst Hunderte von Verbesserungen und Fehlerbehebungen sowie Funktionen wie rekonfigurierbare Datenknotenparameter, die DFSAdmin Option zum Initiieren von Massenrekonfigurationsvorgängen an allen Live-Datenknoten und eine API Vektorfunktion, die es leseintensiven Lesern ermöglicht, mehrere Lesebereiche anzugeben. Hadoop 3.3.6 bietet außerdem Unterstützung HDFS APIs und Semantik für sein Write-Ahead-Protokoll (), sodass es auf anderen Speichersystemimplementierungen ausgeführt werden kann. WAL HBase Weitere Informationen finden Sie in den Änderungsprotokollen für Versionen 3.3.4, 3.3.5 und 3.3.6 in der Apache-Hadoop-Dokumentation.

  • Support AWS SDK für Java, Version 2 — Amazon EMR 6.15.0-Anwendungen können AWS SDK für die Java-Versionen 1.12.569 oder 2.20.160 verwendet werden, wenn die Anwendung v2 unterstützt. Die AWS SDK für Java 2.x ist eine grundlegende Neufassung der Codebasis von Version 1.x. Sie basiert auf Java 8+ und fügt mehrere häufig angeforderte Funktionen hinzu. Dazu gehören die Unterstützung für blockierungsfreie I/O und die Möglichkeit, zur Laufzeit eine andere HTTP Implementierung einzubinden. Weitere Informationen, einschließlich eines Migrationshandbuchs von SDK Java v1 zu v2, finden Sie im Handbuch AWS SDKfür Java, Version 2.

Änderungen, Verbesserungen und behobene Probleme
  • Um Ihre EMR Hochverfügbarkeitscluster zu verbessern, ermöglicht diese Version Konnektivität zu EMR Amazon-Daemons auf lokalen Hosts, die IPv6 Endpunkte.

  • Diese Version ermöglicht TLS 1.2 für die Kommunikation mit ZooKeeper Provisioned auf allen primären Knoten Ihres Hochverfügbarkeitsclusters.

  • Diese Version verbessert die Verwaltung von ZooKeeper Transaktionsprotokolldateien, die auf primären Knoten verwaltet werden, um Szenarien zu minimieren, in denen die Protokolldateien über die Grenzen hinaus wachsen und den Clusterbetrieb unterbrechen.

  • Diese Version macht die knoteninterne Kommunikation für Hochverfügbarkeitscluster widerstandsfähiger. EMR Durch diese Verbesserung wird die Wahrscheinlichkeit, dass Bootstrap-Aktionen oder Cluster-Startfehler auftreten, verringert.

  • Tez in Amazon EMR 6.15.0 führt Konfigurationen ein, die Sie angeben können, um die Eingabe-Splits asynchron in einem Tez-gruppierten Split zu öffnen. Dies führt zu einer schnelleren Leistung von Leseabfragen, wenn ein einzelner gruppierter Tez-Split eine große Anzahl von Eingabe-Splits enthält. Weitere Informationen finden Sie unter Asynchrone Öffnung von Tez-Splits.

  • Wenn Sie einen Cluster mit der neuesten Patch-Version von Amazon EMR 5.36 oder höher, 6.6 oder höher oder 7.0 oder höher starten, EMR verwendet Amazon die neueste Version von Amazon Linux 2023 oder Amazon Linux 2 als EMR AMI Standard-Amazon-Version. Weitere Informationen finden Sie unter Verwenden des standardmäßigen Amazon Linux AMI für Amazon EMR.

    OsReleaseLabel (Amazon Linux-Version) Amazon-Linux-Kernversion Verfügbarkeitsdatum Unterstützte Regionen
    2.0.20241001.0 4,14.352 4. Oktober 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)
    2.0.20240816,0 4,14.350 21. August 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)
    2.0.20240809,0 4,14,349 20. August 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)
    2.0.20240719,0 4,14.348 25. Juli 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten AWS GovCloud (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), (US-Ost), China (Peking), China (Ningxia)
    2.0.20240709,1 4,14.348 23. Juli 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten AWS GovCloud (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), (US-Ost), China (Peking), China (Ningxia), Asien Pazifik (Hyderabad), Naher Osten (UAE), Europa (Spanien), Europa (Zürich), Asien-Pazifik (Melbourne), Israel (Tel Aviv), Kanada West (Calgary)
    2.0.20240223.0 4,14.336 8. März 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (UAE), Kanada ( Zentral), Israel (Tel Aviv), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia), Kanada West (Calgary)
    2.0.20240131.0 4,14.336 14. Februar 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (UAE), Kanada ( Zentral), Israel (Tel Aviv), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia), Kanada West (Calgary)
    2.0.20240124.0 4,14.336 7. Februar 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (UAE), Kanada ( Zentral), Israel (Tel Aviv), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia), Kanada West (Calgary)
    2.0.20240109.0 4,14.334 24. Januar 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (UAE), Kanada ( Zentral), Israel (Tel Aviv), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia), Kanada West (Calgary)
    2.0.20231218.0 4,14.330 2. Januar 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (UAE), Kanada ( Zentral), Israel (Tel Aviv), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)
    2.0.20231206.0 4,14.330 22. Dezember 2023 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (UAE), Kanada ( Zentral), Israel (Tel Aviv), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)
    2.0.20231116.0 4,14.328 11. Dezember 2023 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (UAE), Kanada ( Zentral), Israel (Tel Aviv), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)
    2.0.20231101.0 4,14.327 13. November 2023 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (UAE), Kanada ( Zentral), Israel (Tel Aviv), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)

Amazon EMR 5.36.2 (neueste Version der 5.x-Serie)

Neue EMR Amazon-Versionen werden in verschiedenen Regionen über einen Zeitraum von mehreren Tagen verfügbar gemacht, beginnend mit der ersten Region am ursprünglichen Veröffentlichungsdatum. Die neueste Version ist in diesem Zeitraum möglicherweise nicht in Ihrer Region verfügbar.

Die folgenden Versionshinweise enthalten Informationen für EMR Amazon-Version 5.36.2. Die Änderungen beziehen sich auf 5.36.1. Informationen zum Zeitplan der Veröffentlichung finden Sie im Änderungsprotokoll.

Änderungen, Verbesserungen und behobene Probleme
  • Diese Version verbessert die Cluster-Scale-Down-Logik, sodass Amazon die Kernknoten EMR nicht unter die für den Cluster eingestellte HDFS Replikationsfaktor-Einstellung herunterskaliert. Diese Verbesserung erfüllt die Anforderungen an die Datenredundanz und verringert die Wahrscheinlichkeit, dass ein Skalierungsvorgang zum Stillstand kommt.

  • Diese Version fügt dem Cluster-Skalierungs-Workflow für die Ausführung Presto oder Trino einen neuen Wiederholungsmechanismus hinzu. Diese Verbesserung reduziert das Risiko, dass die Clustergrößenänderung aufgrund eines einzigen fehlgeschlagenen Größenänderungsvorgangs auf unbestimmte Zeit ausgeführt wird. Sie verbessert auch die Clusterauslastung, da Ihr Cluster schneller hoch- und herunterskaliert wird.

  • Behebt ein Problem, bei dem Cluster-Scale-Down-Operationen möglicherweise zum Stillstand kommen, während Amazon EMR einen Core-Node ordnungsgemäß außer Betrieb nimmt und dieser vor der vollständigen Außerbetriebnahme fehlerhaft wird.

  • Verbessert die Stabilität eines Knotens in einem Hochverfügbarkeitscluster mit mehreren Primärknoten, wenn Amazon einen einzelnen Knoten EMR neu startet.

  • Optimiert die Protokollverwaltung, wenn Amazon auf Amazon EMR EC2 läuft. Infolgedessen können Sie eine leichte Senkung der Speicherkosten für Ihre Cluster-Protokolle feststellen.

  • Verbessert die Verwaltung von ZooKeeper Transaktionsprotokolldateien, die auf primären Knoten verwaltet werden, um Szenarien zu minimieren, in denen die Protokolldateien über die Grenzen hinaus wachsen und den Clusterbetrieb unterbrechen.

  • Behebt einen seltenen Fehler, der dazu führen kann, dass ein Hochverfügbarkeitscluster mit mehreren Primärknoten ausfällt, weil er nicht mit dem Yarn kommunizieren kann. ResourceManager

  • Wenn Sie einen Cluster mit der neuesten Patch-Version von Amazon EMR 5.36 oder höher, 6.6 oder höher oder 7.0 oder höher starten, EMR verwendet Amazon die neueste Version von Amazon Linux 2023 oder Amazon Linux 2 als EMR AMI Standard-Amazon-Version. Weitere Informationen finden Sie unter Verwenden des standardmäßigen Amazon Linux AMI für Amazon EMR.

    OsReleaseLabel (Amazon Linux-Version) Amazon-Linux-Kernversion Verfügbarkeitsdatum Unterstützte Regionen
    2.0.20241001.0 4,14.352 4. Oktober 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)
    2.0.20240816,0 4,14.350 21. August 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)
    2.0.20240809,0 4,14,349 20. August 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), AWS GovCloud (US-Ost), China (Peking), China (Ningxia)
    2.0.20240719,0 4,14.348 25. Juli 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten AWS GovCloud (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), (US-Ost), China (Peking), China (Ningxia)
    2.0.20240709,1 4,14.348 23. Juli 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten AWS GovCloud (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), (US-Ost), China (Peking), China (Ningxia), Asien Pazifik (Hyderabad), Naher Osten (UAE), Europa (Spanien), Europa (Zürich), Asien-Pazifik (Melbourne), Israel (Tel Aviv), Kanada West (Calgary)
    2.0.20240503.0 4,14.343 xxxxxx, 2024 USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten AWS GovCloud (Bahrain), Kanada (Zentral), AWS GovCloud (US-West), (US-Ost), China (Peking), China (Ningxia)

Amazon EMR und AWS Signature Version 4

EMRAmazon-Veröffentlichungen verwenden AWS Signature Version 4 (SigV4), um Anfragen an Amazon S3 zu authentifizieren. Buckets, die nach dem 24. Juni 2020 in Amazon S3 erstellt wurden, unterstützen keine Anfragen, die mit Signature Version 2 (SIGv2) signiert wurden. Buckets, die am oder vor dem 24. Juni 2020 erstellt wurden, unterstützen weiterhin SIGv2. Wir empfehlen Ihnen, zu einer EMR Amazon-Version zu migrieren, die SigV4 damit Sie auf neue S3-Buckets zugreifen und Unterbrechungen Ihrer Workloads vermeiden können.

Wenn Sie in Amazon enthaltene Anwendungen EMR wie Apache Spark, Apache Hive und Presto verwenden, müssen Sie Ihren Anwendungscode nicht ändern, um ihn zu verwenden SigV4 . Wenn Sie benutzerdefinierte Anwendungen verwenden, die nicht in Amazon enthalten sindEMR, müssen Sie möglicherweise Ihren Code aktualisieren, um ihn verwenden zu können SigV4. Weitere Informationen finden Sie unter Umstieg von Signature Version 2 auf Signature Version 4 im Amazon S3 S3-Benutzerhandbuch.

Unterstützung für die folgenden EMR Amazon-Versionen SigV4: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher. Unterstützung für alle 6.x- und 7.x-Versionen SigV4.