Rilascio 4.4.0 di Amazon EMR

• Versioni dell'applicazione nei rilasci di Amazon EMR 7.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 6.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 5.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 4.x

Funzionalità

• Aggiunto 1.0.0 HCatalog

• Aggiunto Sqoop-Sandbox 1.4.6

• Aggiornato a Presto 0.136

• Aggiornato a Zeppelin 0.5.6

• Aggiornato a Mahout 0.11.1

• Abilitato dynamicResourceAllocation per impostazione predefinita.

• Aggiunta una tabella di tutte le classificazioni della configurazione per il rilascio. Per ulteriori informazioni, consulta la tabella sulle classificazioni della configurazione in Configurazione delle applicazioni.

Problemi noti risolti dai rilasci precedenti

• Risolto un problema per cui l'maximizeResourceAllocationimpostazione non riservava memoria sufficiente per i demoni ApplicationMaster YARN.

• Risolto un problema rilevato con un DNS personalizzato. Se le voci in resolve.conf precedono le voci personalizzate fornite, allora le voci personalizzate non sono risolvibili. Questo comportamento è stato influenzato dai cluster in un VPC dove il server di nomi VPC di default era inserito come prima voce in resolve.conf.

• Risolto un problema in cui il Python di default era spostato nella versione 2.7 e boto non era installato per quella versione.

• Risolto un problema in cui i container YARN e le applicazioni Spark generavano un file unico del round robin database (rrd) di Ganglia il che portava al collegamento del primo disco al riempimento dell'istanza. Per via di questa correzione, i parametri a livello del container YARN sono stati disattivati così come quelli a livello dell'applicazione Spark.

• Risolto un problema in log pusher che avrebbe cancellato tutte le cartelle vuote dei log. La conseguenza era che Hive CLI non era in grado di effettuare l'accesso perché log pusher cancellava la cartella vuota user sotto /var/log/hive.

• Risolto un problema che riguardava le importazioni di Hive, che interessava il partizionamento e produceva un errore durante l'importazione.

• Risolto un problema in cui EMRFS e s3-dist-cp non gestivano correttamente i nomi dei bucket che contengono punti.

• Modificato un comportamento in EMRFS che prevedeva che nei bucket con funzione Versioni multiple abilitata il file marker _$folder$ non venisse creato in modo continuo, il che potrebbe portare a un miglioramento delle prestazioni per i bucket con funzione Versioni multiple abilitata.

• Modificato il comportamento in EMRFS in modo tale che non utilizzi i file di istruzione tranne nei casi in cui la crittografia lato client sia abilitata. Se vuoi cancellare i file di istruzione mentre utilizzi la crittografia lato client, puoi configurare la proprietà emrfs-site.xml property, fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled, su true.

• Modificata l'aggregazione dei log YARN per conservare i log nella destinazione dell'aggregazione per due giorni. La destinazione di default è l'archiviazione HDFS del cluster. Se desideri modificare la durata, modifica il valore di yarn.log-aggregation.retain-seconds utilizzando la classificazione della configurazione yarn-site durante la creazione del cluster. Come sempre, puoi salvare i log dell'applicazione in Amazon S3 utilizzando il parametro log-uri quando crei il cluster.

Patch applicate

• HIVE-9655

• HIVE-9183

• HADOOP-12810