EMRAmazon-Version 6.4.0

• Anwendungsversionen in Amazon EMR 7.x-Versionen

• Anwendungsversionen in Amazon-EMR-6.x-Versionen

• Anwendungsversionen in Amazon-EMR-5.x-Versionen (PNG)

• Anwendungsversionen in Amazon-EMR-4.x-Versionen

Unterstützte Anwendungen

• AWS SDK for Java Version 1.12.31

• CloudWatch Version 2.2.0 senken

• Version 4.16.0 von EMR DynamoDB Connector

• EMRFSAusführung 2.47.0

• Amazon EMR Goodies versie 3.2.0

• Amazon EMR Kinesis Connector, Version 3.5.0

• Amazon EMR Record Server, Version 2.1.0

• Amazon EMR Scripts versie 2.5.0

• Flink, Version 1.13.1

• Ganglia Version 3.7.2

• AWS Glue Hive Metastore Client Version 3.3.0

• Hadoop Version 3.2.1-amzn-4

• HBaseAusführung 2.4.4-amzn-0

• HBase-operator-tools 1.1.0

• HCatalogAusführung 3.1.2-amzn-5

• Hive Version 3.1.2-amzn-5

• Hudi Version 0.8.0-amzn-0

• Hue Version 4.9.0

• JDKJava-Version Corretto-8.302.08.1 (Build 1.8.0_302-b08)

• JupyterHub Ausführung 1.4.1

• Livy Version 0.7.1-incubating

• MXNetAusführung 1.8.0

• Oozie-Version 5.2.1

• Phoenix Version 5.1.2

• Pig Version 0.17.0

• Presto Version 0.254.1-amzn-0

• Trino Version 359

• Apache Ranger KMS (transparente Multimaster-Verschlüsselung) Version 2.0.0

• Ranger-Plugins 2.0.1-amzn-0

• Ranger-S3-Plugin 1.2.0

• SageMaker Spark-Version 1.4.1 SDK

• Scala Version 2.12.10 (Offene JDK 64-Bit-Server-VM, Java 1.8.0_282)

• Spark Version 3.1.2-amzn-0

• Spark-Rapids 0.4.1

• Sqoop-Version 1.4.7

• TensorFlow Ausführung 2.4.1

• Tez-Version 0.9.2

• Zeppelin-Version 0.9.0

• Zookeeper Version 3.5.7

• Konnektoren und Treiber: DynamoDB Connector 4.16.0

Neue Features

• [Verwaltete Skalierung] Verwaltete Skalierungsoptimierung mit Spark-Shuffle-Daten — Für EMR Amazon-Versionen 5.34.0 und höher sowie EMR Versionen 6.4.0 und höher ist Managed Scaling jetzt Spark Shuffle-Datenerkennung (Daten, die Spark partitionsübergreifend verteilt, um bestimmte Operationen auszuführen). Weitere Informationen zu Shuffle-Vorgängen finden Sie unter Using EMR Managed Scaling in Amazon EMR im Amazon EMR Management Guide und im Spark Programming Guide.

• Auf Apache Ranger-fähigen EMR Amazon-Clustern können Sie Apache Spark verwenden, SQL um Daten mit, und in die Apache Hive-Metastore-Tabellen einzufügen oder diese zu aktualisieren. INSERT INTO INSERT OVERWRITE ALTER TABLE Bei der Verwendung ALTER TABLE mit Spark SQL muss ein Partitionsspeicherort das untergeordnete Verzeichnis eines Tabellenspeicherorts sein. Amazon unterstützt derzeit EMR nicht das Einfügen von Daten in eine Partition, bei der sich der Speicherort der Partition vom Speicherort der Tabelle unterscheidet.

• Presto SQL wurde in Trino umbenannt.

• Hive: Die Ausführung einfacher SELECT Abfragen mit LIMIT Klausel wird beschleunigt, indem die Abfrageausführung gestoppt wird, sobald die in der LIMIT Klausel angegebene Anzahl von Datensätzen abgerufen wurde. Einfache SELECT Abfragen sind Abfragen ohne ORDER BY/BY-Klausel oder Abfragen, die nicht über eine Reducer-Stufe verfügen. GROUP Beispiel, SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>.

Hudi-Parallelitätskontrolle

• Hudi unterstützt jetzt Optimistic Concurrency Control (OCC), das bei Schreiboperationen genutzt werden kann, z. B. UPSERT INSERT um Änderungen von mehreren Autoren an derselben Hudi-Tabelle zu ermöglichen. Dies ist auf DateiebeneOCC, sodass zwei beliebige Commits (oder Writer) in dieselbe Tabelle schreiben können, sofern ihre Änderungen nicht miteinander in Konflikt stehen. Weitere Informationen finden Sie unter Hudi-Parallelitätskontrolle..

• Amazon EMR Amazon-Clustern ist Zookeeper installiert, der als Sperranbieter für verwendet werden kann. OCC Um die Verwendung dieser Funktion zu vereinfachen, sind in EMR Amazon-Clustern die folgenden Eigenschaften vorkonfiguriert:

  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi

  Zur Aktivierung OCC müssen Sie die folgenden Eigenschaften entweder mit ihren Hudi-Joboptionen oder auf Cluster-Ebene mithilfe der Amazon-Konfigurationen konfigurieren: EMR API

  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)

Hudi Monitoring: CloudWatch Amazon-Integration zur Berichterstattung über Hudi-Metriken

• Amazon EMR unterstützt die Veröffentlichung von Hudi Metrics auf Amazon CloudWatch. Es wird aktiviert, indem die folgenden erforderlichen Konfigurationen festgelegt werden:

  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH

• Im Folgenden finden Sie optionale Hudi-Konfigurationen, die Sie ändern können:

  Einstellung	Beschreibung	Wert
  hoodie.metrics.cloudwatch.report.period.seconds	Häufigkeit (in Sekunden), mit der Kennzahlen an Amazon gemeldet werden CloudWatch	Der Standardwert ist 60s, was für die von Amazon angebotene Standardauflösung von einer Minute in Ordnung ist CloudWatch
  hoodie.metrics.cloudwatch.metric.prefix	Präfix, das jedem Metriknamen hinzugefügt werden soll	Der Standardwert ist leer (kein Präfix)
  hoodie.metrics.cloudwatch.namespace	CloudWatch Amazon-Namespace, unter dem Metriken veröffentlicht werden	Der Standardwert ist Hudi
  hoodie.metrics.cloudwatch. maxDatumsPerAnfrage	Maximale Anzahl von Daten, die in einer Anfrage an Amazon enthalten sein können CloudWatch	Der Standardwert ist 20, was dem CloudWatch Amazon-Standard entspricht

Unterstützung und Verbesserungen von Amazon EMR Hudi-Konfigurationen

• Kunden können jetzt die Funktion „EMRKonfigurationen API und Neukonfiguration“ nutzen, um Hudi-Konfigurationen auf Cluster-Ebene zu konfigurieren. Eine neue dateibasierte Konfigurationsunterstützung wurde eingeführt via /etc/hudi/conf/hudi — defaults.conf EMR entspricht dem Vorbild anderer Anwendungen wie Spark, Hive usw. und konfiguriert einige Standardeinstellungen, um die Benutzererfahrung zu verbessern:

  — hoodie.datasource.hive_sync.jdbcurl ist für den Cluster-Hive-Server URL konfiguriert und muss nicht mehr spezifiziert werden. Dies ist besonders nützlich, wenn Sie einen Job im Spark-Cluster-Modus ausführen, wo Sie zuvor die EMR Amazon-Master-IP angeben mussten.

  — HBase spezifische Konfigurationen, die für die Verwendung des HBase Index mit Hudi nützlich sind.

  — Spezifische Konfiguration des Zookeeper-Sperranbieters, wie unter Parallelitätskontrolle beschrieben, was die Verwendung von Optimistic Concurrency Control () erleichtert. OCC

• Zusätzliche Änderungen wurden eingeführt, um die Anzahl der Konfigurationen zu reduzieren, die Sie bestehen müssen, und um nach Möglichkeit automatische Schlüsse zu ziehen:

  – Das partitionBy -Schlüsselwort kann verwendet werden, um die Partitionsspalte zu spezifizieren.

  – Bei der Aktivierung von Hive Sync ist es nicht mehr erforderlich, den Vorgang HIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY zu bestehen. Diese Werte können aus dem Hudi-Tabellennamen und dem Partitionsfeld abgeleitet werden.

  – KEYGENERATOR_CLASS_OPT_KEY ist nicht zwingend erforderlich und kann aus einfacheren Fällen von SimpleKeyGenerator und ComplexKeyGenerator abgeleitet werden.

Vorbehalte von Hudi

• Hudi unterstützt keine vektorisierte Ausführung in Hive für Merge on Read (MoR)- und Bootstrap-Tabellen. So schlägt beispielsweise count(*) mit der Hudi-Echtzeittabelle fehl, wenn hive.vectorized.execution.enabled auf „wahr“ gesetzt ist. Um das Problem zu umgehen, können Sie das vektorisierte Lesen deaktivieren, indem Sie hive.vectorized.execution.enabled auf false setzen.

• Die Multi-Writer-Unterstützung ist nicht mit dem Hudi-Bootstrap-Feature kompatibel.

• Flink Streamer und Flink SQL sind experimentelle Funktionen in dieser Version. Diese Features werden nicht zur Verwendung in Produktionsbereitstellungen empfohlen.

Änderungen, Verbesserungen und behobene Probleme

Dies ist eine Version zur Behebung von Problemen mit Amazon EMR Scaling, wenn ein Cluster nicht erfolgreich hoch-/herunterskaliert werden kann oder wenn es zu Anwendungsausfällen kommt.

• Bisher führte ein manueller Neustart des Resource Managers auf einem Multi-Master-Cluster dazu, dass EMR Amazon-On-Cluster-Daemons wie Zookeeper alle zuvor außer Betrieb genommenen oder verloren gegangenen Knoten in der Zookeeper-Znode-Datei neu luden. Dies führte dazu, dass die Standardgrenzwerte in bestimmten Situationen überschritten wurden. Amazon entfernt EMR jetzt die außer Betrieb genommenen oder verlorenen Knotendatensätze, die älter als eine Stunde sind, aus der Zookeeper-Datei und die internen Grenzwerte wurden erhöht.

• Es wurde ein Problem behoben, bei dem Skalierungsanforderungen für einen großen, stark ausgelasteten Cluster fehlschlugen, wenn EMR Amazon-On-Cluster-Daemons Aktivitäten zur Integritätsprüfung durchführten, z. B. das Erfassen von YARN Knotenstatus und HDFS Knotenstatus. Dies geschah, weil On-Cluster-Daemons nicht in der Lage waren, die Gesundheitsstatusdaten eines Knotens an interne Amazon-Komponenten zu übermitteln. EMR

• Die EMR Cluster-Daemons wurden verbessert, um den Knotenstatus bei der Wiederverwendung von IP-Adressen korrekt nachzuverfolgen, um die Zuverlässigkeit bei Skalierungsvorgängen zu erhöhen.

• SPARK-29683. Es wurde ein Problem behoben, bei dem während der Cluster-Skalierung Auftragsfehler auftraten, da Spark davon ausging, dass alle verfügbaren Knoten auf der Verweigern-Liste standen.

• YARN-9011. Es wurde ein Problem behoben, bei dem Jobfehler aufgrund eines Fehlers bei der YARN Außerbetriebnahme auftraten, wenn der Cluster versuchte, nach oben oder unten zu skalieren.

• Das Problem mit Schritt- oder Jobfehlern bei der Cluster-Skalierung wurde behoben, indem sichergestellt wurde, dass die Knotenstatus zwischen den EMR Amazon-On-Cluster-Daemons und/immer konsistent sind. YARN HDFS

• Es wurde ein Problem behoben, bei dem Clustervorgänge wie Herunterskalierung und Schrittübermittlung für EMR Amazon-Cluster, die mit Kerberos-Authentifizierung aktiviert waren, fehlschlugen. Dies lag daran, dass der EMR Amazon-On-Cluster-Daemon das Kerberos-Ticket nicht erneuert hat, das für die sichere Kommunikation HDFS YARN mit/auf dem primären Knoten erforderlich ist.

• Konfiguration eines Clusters zur Behebung von Leistungsproblemen mit Apache YARN Timeline Server Version 1 und 1.5

  Apache YARN Timeline Server Version 1 und 1.5 können bei sehr aktiven, großen EMR Clustern zu Leistungsproblemen führen, insbesondere beiyarn.resourcemanager.system-metrics-publisher.enabled=true, was die Standardeinstellung in Amazon istEMR. Ein YARN Open-Source-Timeline Server v2 löst das Leistungsproblem im Zusammenhang mit der Skalierbarkeit von YARN Timeline Server.

  Weitere Lösungen für dieses Problem umfassen:

  • Konfiguration von yarn.resourcemanager. system-metrics-publisher.enabled=false in yarn-site.xml.

  • Aktivieren des Fixes für dieses Problem beim Erstellen eines Clusters, wie unten beschrieben.

  Die folgenden EMR Amazon-Versionen enthalten eine Lösung für dieses Leistungsproblem mit dem YARN Timeline-Server.

  EMR5.30.2, 5.31.1, 5.32.1, 5.33.1, 5.34.x, 6.0.1, 6.1.1, 6.2.1, 6.3.1, 6.4.x

  Um den Fix für eine der oben angegebenen EMR Amazon-Versionen zu aktivieren, legen Sie diese Eigenschaften true in einer JSON Konfigurationsdatei fest, die mit dem aws emr create-clusterBefehlsparameter übergeben wird:--configurations file://./configurations.json. Oder aktivieren Sie den Fix über die Benutzeroberfläche der Rekonfigurationskonsole.

  Beispiel für den Inhalt der Datei configurations.json:

  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]

• Web HDFS - und HttpFS-Server sind standardmäßig deaktiviert. Sie können Web HDFS mithilfe der Hadoop-Konfiguration erneut aktivieren. dfs.webhdfs.enabled Der HttpFS-Server kann mit sudo systemctl start hadoop-httpfs gestartet werden.

• HTTPSist jetzt standardmäßig für Amazon Linux-Repositorys aktiviert. Wenn Sie eine Amazon S3 VPCE S3-Richtlinie verwenden, um den Zugriff auf bestimmte Buckets zu beschränken, müssen Sie den neuen Amazon Linux-Bucket ARN arn:aws:s3:::amazonlinux-2-repos-$region/* zu Ihrer Richtlinie hinzufügen ($regionersetzen Sie ihn durch die Region, in der sich der Endpunkt befindet). Weitere Informationen finden Sie unter diesem Thema in den AWS Diskussionsforen. Ankündigung: Amazon Linux 2 unterstützt jetzt die Verwendung HTTPS beim Herstellen einer Verbindung zu Paket-Repositorys.

• Hive: Die Leistung bei Schreibabfragen wurde verbessert, indem die Verwendung eines Scratch-Verzeichnisses HDFS für den letzten Job aktiviert wurde. Die temporären Daten für den endgültigen Job werden HDFS nicht in Amazon S3 geschrieben, und die Leistung wird verbessert, da die Daten vom HDFS Speicherort der endgültigen Tabelle (Amazon S3) und nicht zwischen Amazon S3 S3-Geräten verschoben werden.

• Hive: Verbesserung der Kompilierungszeit von Abfragen um das 2,5-fache mit Glue Metastore Partition Pruning.

• Wenn Built-In von Hive an den Hive Metastore Server übergeben UDFs werden, wird standardmäßig nur ein Teil der UDFs Built-In an den Glue Metastore übergeben, da Glue nur begrenzte Ausdrucksoperatoren unterstützt. Wenn Sie hive.glue.partition.pruning.client=true festlegen, erfolgt das gesamte Partitionsbereinigen auf der Clientseite. Wenn Sie hive.glue.partition.pruning.server=true festlegen, erfolgt das gesamte Bereinigen von Partitionen auf der Serverseite.

Bekannte Probleme

• Hue-Abfragen funktionieren in Amazon EMR 6.4.0 nicht, da der Apache Hadoop HttpFS-Server standardmäßig deaktiviert ist. Um Hue auf Amazon EMR 6.4.0 zu verwenden, starten Sie den HttpFS-Server auf dem EMR primären Amazon-Node entweder manuell mithilfe sudo systemctl start hadoop-httpfs oder verwenden Sie einen Amazon-Schritt. EMR

• Die Amazon EMR Notebooks-Funktion, die mit dem Livy-Benutzerwechsel verwendet wird, funktioniert nicht, da HttpFS standardmäßig deaktiviert ist. In diesem Fall kann das EMR Notebook keine Verbindung zu dem Cluster herstellen, für den der Livy-Identitätswechsel aktiviert ist. Die Problemumgehung besteht darin, den HttpFS-Server zu starten, bevor Sie das Notebook mit dem EMR Cluster verbinden. sudo systemctl start hadoop-httpfs

• In EMR Amazon-Version 6.4.0 unterstützt Phoenix die Komponente Phoenix Connectors nicht.

• Um Spark-Aktionen mit Apache Oozie zu verwenden, müssen Sie Ihrer Oozie-workflow.xml-Datei die folgende Konfiguration hinzufügen. Andernfalls fehlen mehrere wichtige Bibliotheken wie Hadoop und EMRFS E im Klassenpfad der Spark-Executoren, die Oozie startet.

  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>

• Wenn Sie Spark mit der Formatierung des Hive-Partitionsspeicherorts verwenden, um Daten in Amazon S3 zu lesen, und Sie Spark auf den EMR Amazon-Versionen 5.30.0 bis 5.36.0 und 6.2.0 bis 6.9.0 ausführen, kann ein Problem auftreten, das verhindert, dass Ihr Cluster Daten korrekt liest. Dies kann passieren, wenn Ihre Partitionen alle der folgenden Eigenschaften aufweisen:

  • Zwei oder mehr Partitionen werden aus derselben Tabelle gescannt.

  • Mindestens ein Partitionsverzeichnispfad ist ein Präfix für mindestens einen anderen Partitionsverzeichnispfad, z. B. ist s3://bucket/table/p=a ein Präfix von s3://bucket/table/p=a b.

  • Das erste Zeichen, das auf das Präfix im anderen Partitionsverzeichnis folgt, hat einen Wert von UTF -8, der kleiner als das Zeichen (U+002F) ist. / Beispielsweise fällt das Leerzeichen (U+0020), das in s3://bucket/table/p=a b zwischen a und b vorkommt, in diese Kategorie. Beachten Sie, dass es 14 weitere Zeichen gibt, die keine Kontrollzeichen sind: !"#$%&‘()*+,-. Weitere Informationen finden Sie unter Kodierungstabelle UTF -8 und Unicode-Zeichen.

  Um dieses Problem zu umgehen, stellen Sie die spark.sql.sources.fastS3PartitionDiscovery.enabled-Konfiguration auf false in der spark-defaults-Klassifizierung ein.