Amazon EMR versione 4.3.0

• Versioni delle applicazioni nelle versioni di Amazon EMR 7.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 6.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 5.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 4.x

Funzionalità

• Aggiornato a Hadoop 2.7.1

• Aggiornato a Spark 1.6.0

• Aggiornato Ganglia a 3.7.2

• Aggiornato Presto a 0.130

• Amazon EMR ha apportato alcune modifiche a spark.dynamicAllocation.enabled quando è impostato su true; per impostazione predefinita è false. Quando è impostato su true, interessa i valori predefiniti definiti dall'impostazione maximizeResourceAllocation:

  • Se spark.dynamicAllocation.enabled è impostato su true, spark.executor.instances non è impostato da maximizeResourceAllocation.

  • L'impostazione spark.driver.memory ora è configurata in base ai tipi di istanza nel cluster in modo simile a come è impostato spark.executors.memory. Tuttavia, poiché l'applicazione del driver Spark può essere eseguita sull'istanza master o su una delle istanze principali (ad esempio, rispettivamente in modalità YARN client e cluster), l'spark.driver.memoryimpostazione viene impostata in base al tipo di istanza del tipo di istanza più piccolo tra questi due gruppi di istanze.

  • L'spark.default.parallelismimpostazione è ora impostata al doppio del numero di CPU core disponibili per i contenitori. YARN Nei rilasci precedenti, era la metà del valore.

  • I calcoli per il sovraccarico di memoria riservato ai YARN processi Spark sono stati modificati per essere più accurati, con un leggero aumento della quantità totale di memoria disponibile per Spark (ovvero,). spark.executor.memory

Problemi noti risolti dai rilasci precedenti

• YARNl'aggregazione dei log è ora abilitata per impostazione predefinita.

• È stato risolto un problema per cui i log non venivano inviati al bucket di log di Amazon S3 per il cluster quando l'YARNaggregazione dei log era abilitata.

• YARNLe dimensioni dei contenitori ora hanno un nuovo minimo di 32 per tutti i tipi di nodi.

• È stato risolto un problema con Ganglia che provocava un I/O su disco eccessivo sul nodo primario nei cluster di grandi dimensioni.

• Risolto un problema che evitava che i log delle applicazioni venissero trasmessi ad Amazon S3 quando un cluster veniva disattivato.

• È stato risolto un problema a EMRFS CLI causa del quale alcuni comandi non funzionavano.

• È stato risolto un problema con Zeppelin che impediva il caricamento delle dipendenze nel file sottostante. SparkContext

• Risolto un problema causato dall'emissione di un tentativo di ridimensionamento per aggiungere le istanze.

• È stato risolto un problema in Hive a causa del quale CREATE TABLE AS SELECT effettuava un numero eccessivo di chiamate di lista verso Amazon S3.

• Risolto un problema in cui i cluster di grandi dimensioni non effettuano correttamente il provisioning quando sono istallati Hue, Oozie e Ganglia.

• Risolto un problema in s3-dist-cp dove avrebbe restituito un codice di uscita diverso zero se avesse restituito un errore.