Amazon EMR versione 4.4.0

• Versioni delle applicazioni nelle versioni di Amazon EMR 7.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 6.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 5.x

• Versioni dell'applicazione nei rilasci di Amazon EMR 4.x

Funzionalità

• Aggiunta HCatalog la versione 1.0.0

• Aggiunto Sqoop-Sandbox 1.4.6

• Aggiornato a Presto 0.136

• Aggiornato a Zeppelin 0.5.6

• Aggiornato a Mahout 0.11.1

• Abilitato dynamicResourceAllocation per impostazione predefinita.

• Aggiunta una tabella di tutte le classificazioni della configurazione per il rilascio. Per ulteriori informazioni, consulta la tabella sulle classificazioni della configurazione in Configurazione delle applicazioni.

Problemi noti risolti dai rilasci precedenti

• Risolto un problema per cui l'maximizeResourceAllocationimpostazione non riservava memoria sufficiente per YARN ApplicationMaster i demoni.

• È stato risolto un problema riscontrato con una personalizzazione. DNS Se le voci in resolve.conf precedono le voci personalizzate fornite, allora le voci personalizzate non sono risolvibili. Questo comportamento è stato influenzato dai cluster in VPC cui il VPC name server predefinito viene inserito come voce principale. resolve.conf

• Risolto un problema in cui il Python di default era spostato nella versione 2.7 e boto non era installato per quella versione.

• È stato risolto un problema per cui YARN i contenitori e le applicazioni Spark generavano un file di database Ganglia round robin (rrd) unico, che provocava il riempimento del primo disco collegato all'istanza. A causa di questa correzione, le metriche a livello di YARN contenitore sono state disabilitate e le metriche a livello di applicazione Spark sono state disabilitate.

• Risolto un problema in log pusher che avrebbe cancellato tutte le cartelle vuote dei log. L'effetto era che Hive non CLI era in grado di effettuare il log perché log pusher stava rimuovendo la cartella vuota sottostante. user /var/log/hive

• Risolto un problema che riguardava le importazioni di Hive, che interessava il partizionamento e produceva un errore durante l'importazione.

• È stato risolto un problema a causa del quale EMRFS s3-dist-cp non gestiva correttamente i nomi dei bucket che contengono punti.

• È stato modificato un comportamento in EMRFS modo che nei bucket abilitati al controllo delle versioni il file _$folder$ marker non venga creato continuamente, il che può contribuire a migliorare le prestazioni dei bucket abilitati al controllo delle versioni.

• È stato modificato il comportamento in modo che non vengano utilizzati file di istruzioni tranne nei EMRFS casi in cui è abilitata la crittografia lato client. Se vuoi cancellare i file di istruzione mentre utilizzi la crittografia lato client, puoi configurare la proprietà emrfs-site.xml property, fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled, su true.

• Aggregazione dei YARN log modificata per conservare i log nella destinazione di aggregazione per due giorni. La destinazione predefinita è l'archiviazione del cluster. HDFS Se desideri modificare la durata, modifica il valore di yarn.log-aggregation.retain-seconds utilizzando la classificazione della configurazione yarn-site durante la creazione del cluster. Come sempre, puoi salvare i log dell'applicazione in Amazon S3 utilizzando il parametro log-uri quando crei il cluster.

Patch applicate

• HIVE-9655

• HIVE-9183

• HADOOP-12810