Amazon EMR versione 6.4.0

• Versioni delle applicazioni nelle versioni di Amazon EMR 7.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 6.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 5.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 4.x

Applicazioni supportate

• AWS SDK for Java versione 1.12.31

• CloudWatch Sink versione 2.2.0

• DynamoDB Connector versione 4.16.0

• EMRFSversione 2.47.0

• Amazon EMR Goodies versione 3.2.0

• Amazon EMR Kinesis Connector versione 3.5.0

• Amazon EMR Record Server versione 2.1.0

• Amazon EMR Scripts versione 2.5.0

• Flink versione 1.13.1

• Ganglia versione 3.7.2

• AWS Glue Hive Metastore Client versione 3.3.0

• Hadoop versione 3.2.1-amzn-4

• HBaseversione 2.4.4-amzn-0

• HBase-operator-tools 1.1.0

• HCatalogversione 3.1.2-amzn-5

• Hive versione 3.1.2-amzn-5

• Hudi versione 0.8.0-amzn-0

• Hue versione 4.9.0

• JDKVersione Java Corretto-8.302.08.1 (build 1.8.0_302-b08)

• JupyterHub versione 1.4.1

• Livy versione 0.7.1-incubating

• MXNetversione 1.8.0

• Oozie versione 5.2.1

• Phoenix versione 5.1.2

• Pig versione 0.17.0

• Presto versione 0.254.1-amzn-0

• Trino versione 359

• Apache Ranger KMS (crittografia trasparente multimaster) versione 2.0.0

• ranger-plugins 2.0.1-amzn-0

• ranger-s3-plugin 1.2.0

• SageMaker SDKSpark versione 1.4.1

• Scala versione 2.12.10 (Open JDK 64-Bit Server VM, Java 1.8.0_282)

• Spark versione 3.1.2-amzn-0

• spark-rapids 0.4.1

• Sqoop versione 1.4.7

• TensorFlow versione 2.4.1

• tez versione 0.9.2

• Zeppelin versione 0.9.0

• Zookeeper versione 3.5.7

• Connettori e driver: DynamoDB Connector 4.16.0

Nuove funzionalità

• [Scalabilità gestita] Ottimizzazione della scalabilità gestita dei dati di Spark shuffle - Per le versioni di Amazon 5.34.0 e successive e EMR le EMR versioni 6.4.0 e successive, la scalabilità gestita ora riconosce i dati di Spark shuffle (dati che Spark ridistribuisce tra le partizioni per eseguire operazioni specifiche). Per ulteriori informazioni sulle operazioni shuffle, consulta Using EMR managed scaling in Amazon nella Amazon EMR Management Guide e EMR nella Spark Programming Guide.

• Nei cluster EMR Amazon abilitati per Apache Ranger, puoi utilizzare Apache SQL Spark per inserire dati o aggiornare le tabelle dei metastore Apache Hive utilizzando, e. INSERT INTO INSERT OVERWRITE ALTER TABLE Quando si utilizza ALTER TABLE con SparkSQL, la posizione di una partizione deve essere la directory secondaria di una posizione di tabella. Amazon attualmente EMR non supporta l'inserimento di dati in una partizione in cui la posizione della partizione è diversa dalla posizione della tabella.

• Presto SQL è stato rinominato Trino.

• Hive: L'esecuzione di semplici SELECT interrogazioni con LIMIT clausola viene accelerata interrompendo l'esecuzione della query non appena viene recuperato il numero di record menzionati nella clausola. LIMIT Le SELECT query semplici sono query che non hanno la clausola GROUP BY/ORDERby o query che non hanno uno stadio di riduzione. Ad esempio SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>.

Controlli di simultaneità Hudi

• Hudi ora supporta Optimistic Concurrency Control (OCC), che può essere sfruttato con operazioni di scrittura come UPSERT e INSERT per consentire modifiche da più scrittori alla stessa tabella Hudi. Questo è a livello di fileOCC, quindi due commit (o writer) qualsiasi possono scrivere sulla stessa tabella, se le loro modifiche non sono in conflitto. Per ulteriori informazioni, consulta Controllo della concorrenza Hudi.

• Nei EMR cluster Amazon è installato Zookeeper, che può essere utilizzato come fornitore di serrature per. OCC Per semplificare l'utilizzo di questa funzionalità, EMR i cluster Amazon hanno le seguenti proprietà preconfigurate:

  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi

  Per abilitareOCC, devi configurare le seguenti proprietà con le relative opzioni di lavoro Hudi o a livello di cluster utilizzando le configurazioni Amazon: EMR API

  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)

Monitoraggio Hudi: CloudWatch integrazione con Amazon per riportare Hudi Metrics

• Amazon EMR supporta la pubblicazione di Hudi Metrics su Amazon. CloudWatch È abilitato impostando le seguenti configurazioni richieste:

  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH

• Di seguito sono riportate le configurazioni Hudi opzionali che è possibile modificare:

  Impostazione	Descrizione	Valore
  hoodie.metrics.cloudwatch.report.period.seconds	Frequenza (in secondi) con cui segnalare i parametri ad Amazon CloudWatch	Il valore predefinito è 60s, il che va bene per la risoluzione predefinita di un minuto offerta da Amazon CloudWatch
  hoodie.metrics.cloudwatch.metric.prefix	Prefisso da aggiungere a ciascun nome parametro	Il valore di default è vuoto (nessun prefisso)
  hoodie.metrics.cloudwatch.namespace	Spazio CloudWatch dei nomi Amazon in base al quale vengono pubblicate le metriche	Il valore di default è Hudi
  hoodie.metrics.cloudwatch. maxDatumsPerRichiesta	Numero massimo di riferimenti da includere in una richiesta ad Amazon CloudWatch	Il valore predefinito è 20, che corrisponde a quello CloudWatch predefinito di Amazon

Supporto e miglioramenti alle configurazioni EMR di Amazon Hudi

• I clienti possono ora sfruttare la funzionalità di configurazione API e riconfigurazione per configurare EMR le configurazioni Hudi a livello di cluster. È stato introdotto un nuovo supporto per la configurazione basato su file via /etc/hudi/conf/hudi -defaults.conf sulla falsariga di altre applicazioni come Spark, Hive ecc. EMRconfigura alcune impostazioni predefinite per migliorare l'esperienza utente:

  — hoodie.datasource.hive_sync.jdbcurl è configurato sul server cluster Hive URL e non deve più essere specificato. Ciò è particolarmente utile quando si esegue un job in modalità cluster Spark, in cui in precedenza era necessario specificare l'IP EMR master Amazon.

  — configurazioni HBase specifiche, utili per utilizzare l'HBaseindice con Hudi.

  — Configurazione specifica del provider di blocco Zookeeper, come discusso in Concurrency Control, che semplifica l'utilizzo di Optimistic Concurrency Control (). OCC

• Sono state introdotte ulteriori modifiche per ridurre il numero di configurazioni che devi passare e per dedurre automaticamente laddove possibile:

  — La parola chiave partitionBy può essere utilizzata per specificare la colonna della partizione.

  — Quando si abilita Hive Sync, non è più obbligatorio passare HIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY. Tali valori possono essere dedotti dal nome della tabella Hudi e dal campo della partizione.

  — KEYGENERATOR_CLASS_OPT_KEY non è obbligatorio passare e può essere dedotto da casi più semplici di SimpleKeyGenerator e ComplexKeyGenerator.

Avvertenze Hudi

• Hudi non supporta l'esecuzione vettorizzata nelle tabelle Hive for Merge on Read (MoR) e Bootstrap. Ad esempio: count(*) fallisce con la tabella in tempo reale Hudi quando hive.vectorized.execution.enabled è impostato su VERO. Come soluzione alternativa, puoi disabilitare la lettura vettorizzata impostando hive.vectorized.execution.enabled a false.

• Il supporto multi-writer non è compatibile con la caratteristica bootstrap Hudi.

• Flink Streamer e SQL Flink sono funzionalità sperimentali di questa versione. Queste caratteristiche non sono consigliate per l'uso nelle distribuzioni di produzione.

Modifiche, miglioramenti e problemi risolti

Questa è una versione per risolvere i problemi di Amazon EMR Scaling quando non riesce a scalare/ridimensionare correttamente un cluster o causa errori delle applicazioni.

• In precedenza, il riavvio manuale del gestore delle risorse su un cluster multimaster faceva sì che i EMR daemon on-cluster di Amazon, come Zookeeper, ricaricassero tutti i nodi precedentemente disattivati o persi nel file znode di Zookeeper. Ciò causava il superamento dei limiti predefiniti in determinate situazioni. Amazon EMR ora rimuove i record dei nodi disattivati o persi più vecchi di un'ora dal file Zookeeper e i limiti interni sono stati aumentati.

• È stato risolto un problema a causa del quale le richieste di scalabilità non andavano a buon fine per un cluster di grandi dimensioni e altamente utilizzato quando i demoni Amazon EMR on-cluster eseguivano attività di controllo dello stato del nodo, come la raccolta dello stato e dello stato del YARN nodo. HDFS Ciò accadeva perché i demoni on-cluster non erano in grado di comunicare i dati sullo stato di salute di un nodo ai componenti interni di Amazon. EMR

• Demoni EMR sul cluster migliorati per tracciare correttamente gli stati dei nodi quando gli indirizzi IP vengono riutilizzati per migliorare l'affidabilità durante le operazioni di scalabilità.

• SPARK-29683. È stato risolto il problema per cui si verificavano errori di processo durante la riduzione del cluster poiché Spark presupponeva che tutti i nodi disponibili fossero negati.

• YARN-9011. È stato risolto un problema a causa del quale si verificavano errori di lavoro a causa di una situazione di emergenza durante la YARN disattivazione quando il cluster tentava di aumentare o ridurre la scalabilità.

• È stato risolto il problema relativo agli errori di passaggi o processi durante la scalabilità del cluster assicurando che gli stati dei nodi fossero sempre coerenti tra i demoni Amazon EMR on-cluster e/. YARN HDFS

• È stato risolto un problema a causa del quale le operazioni di cluster come la scalabilità verso il basso e l'invio di passaggi non funzionavano per EMR i cluster Amazon abilitati con l'autenticazione Kerberos. Questo perché il EMR daemon Amazon on-cluster non ha rinnovato il ticket Kerberos, necessario per comunicare in modo sicuro conHDFS/in esecuzione sul nodo primario. YARN

• Configurazione di un cluster per risolvere i problemi di prestazioni di YARN Apache Timeline Server versione 1 e 1.5

  Le versioni 1 e 1.5 di Apache YARN Timeline Server possono causare problemi di prestazioni con EMR cluster di grandi dimensioni e molto attivi, in particolare conyarn.resourcemanager.system-metrics-publisher.enabled=true, che è l'impostazione predefinita in Amazon. EMR Un YARN Timeline Server v2 open source risolve il problema di prestazioni relativo alla scalabilità del Timeline Server. YARN

  Altre soluzioni alternative per questo problema includono:

  • Configurazione yarn.resourcemanager. system-metrics-publisher.enabled=false in yarn-site.xml.

  • L'abilitazione della correzione per questo problema durante la creazione di un cluster, come descritto di seguito.

  Le seguenti EMR versioni di Amazon contengono una correzione per questo problema di prestazioni del YARN Timeline Server.

  EMR5.30.2, 5.31.1, 5.32.1, 5.33.1, 5.34.x, 6.0.1, 6.1.1, 6.2.1, 6.3.1, 6.4.x

  Per abilitare la correzione su una qualsiasi delle EMR versioni di Amazon sopra specificate, imposta queste proprietà su un JSON file di configurazione che viene passato utilizzando il parametro aws emr create-cluster command:--configurations file://./configurations.json. true Oppure abilita la correzione utilizzando l'interfaccia utente della console di riconfigurazione.

  Esempio del contenuto del file configurations.json:

  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]

• Il Web HDFS e il server HttpFS sono disabilitati per impostazione predefinita. È possibile riattivare il Web HDFS utilizzando la configurazione Hadoop,. dfs.webhdfs.enabled Il server HttpFS può essere avviato utilizzando sudo systemctl start hadoop-httpfs.

• HTTPSora è abilitato per impostazione predefinita per i repository Amazon Linux. Se utilizzi una VPCE policy di Amazon S3 per limitare l'accesso a bucket specifici, devi aggiungere il nuovo bucket Amazon Linux ARN arn:aws:s3:::amazonlinux-2-repos-$region/* alla tua policy (sostituirlo $region con la regione in cui si trova l'endpoint). Per ulteriori informazioni, consulta questo argomento nei forum di discussione. AWS Annuncio: Amazon Linux 2 ora supporta la possibilità di utilizzo HTTPS durante la connessione ai repository di pacchetti.

• Hive: le prestazioni delle query di scrittura sono migliorate abilitando l'uso di una directory scratch attiva HDFS per l'ultimo lavoro. I dati temporanei per il processo finale vengono scritti HDFS anziché su Amazon S3 e le prestazioni sono migliorate perché i dati vengono spostati dalla HDFS posizione della tabella finale (Amazon S3) anziché tra dispositivi Amazon S3.

• Hive: miglioramento del tempo di compilazione delle query fino a 2,5 volte con Glue metastore Partition Pruning.

• Per impostazione predefinita, quando UDFs i built-in vengono passati da Hive all'Hive Metastore Server, solo un sottoinsieme di quelli integrati UDFs viene passato al Glue Metastore poiché Glue supporta solo operatori di espressione limitata. Se hai impostato hive.glue.partition.pruning.client=true, quindi tutta la eliminazione delle partizioni avviene sul lato client. Se hai impostato hive.glue.partition.pruning.server=true, quindi tutta la eliminazione delle partizioni avviene sul lato server.

Problemi noti

• Le query Hue non funzionano in Amazon EMR 6.4.0 perché il server Apache Hadoop Hadoop HTTPFS è disabilitato per impostazione predefinita. Per utilizzare Hue su Amazon EMR 6.4.0, avvia manualmente il server HttpFS sul nodo EMR primario Amazon utilizzando sudo systemctl start hadoop-httpfs o utilizza un passaggio Amazon. EMR

• La funzionalità Amazon EMR Notebooks utilizzata con l'impersonificazione utente Livy non funziona perché HttpFS è disabilitato per impostazione predefinita. In questo caso, il EMR notebook non può connettersi al cluster in cui è abilitata l'impersonificazione di Livy. La soluzione alternativa consiste nell'avviare il server HttpFS prima di connettere il EMR notebook al cluster utilizzando. sudo systemctl start hadoop-httpfs

• Nella EMR versione 6.4.0 di Amazon, Phoenix non supporta il componente Phoenix Connectors.

• Per utilizzare le operazioni Spark con Apache Oozie, devi aggiungere la seguente configurazione al tuo file workflow.xml Oozie. Altrimenti, nel classpath degli esecutori Spark lanciati da Oozie EMRFS mancheranno diverse librerie critiche come Hadoop e Hadoop.

  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>

• Quando usi Spark con la formattazione della posizione delle partizioni Hive per leggere i dati in Amazon S3 e esegui Spark sulle EMR versioni di Amazon da 5.30.0 a 5.36.0 e da 6.2.0 a 6.9.0, potresti riscontrare un problema che impedisce al cluster di leggere correttamente i dati. Ciò può accadere se le partizioni presentano tutte le seguenti caratteristiche:

  • Due o più partizioni vengono scansionate dalla stessa tabella.

  • Almeno un percorso di directory di partizione è il prefisso di almeno un altro percorso della directory di partizione, ad esempio s3://bucket/table/p=a è un prefisso di s3://bucket/table/p=a b.

  • Il primo carattere che segue il prefisso nell'altra directory di partizione ha un valore -8 inferiore al carattere (U+002F). UTF / Ad esempio, rientra in questa categoria il carattere dello spazio (U+0020) che compare tra a e b in s3://bucket/table/p=a b. Tieni presente che esistono altri 14 caratteri non di controllo: !"#$%&‘()*+,-. Per ulteriori informazioni, vedete la tabella di codifica UTF-8 e i caratteri Unicode.

  Per ovviare a questo problema, imposta la configurazione di spark.sql.sources.fastS3PartitionDiscovery.enabled su false nella classificazione di spark-defaults.