Versão 4.4.0 do Amazon EMR

• Versões de aplicações nas versões 7.x do Amazon EMR

• Versões de aplicações nas versões 6.x do Amazon EMR

• Versões de aplicações nas versões 5.x do Amazon EMR

• Versões de aplicações nas versões 4.x do Amazon EMR

Recursos

• Adicionado o HCatalog 1.0.0

• Adicionado o Sqoop-Sandbox 1.4.6

• Atualizado para Presto 0.136

• Atualizado para Zeppelin 0.5.6

• Atualizado para Mahout 0.11.1

• Habilitada a dynamicResourceAllocation por padrão.

• Adicionada uma tabela de todas as classificações de configuração para a versão. Para obter mais informações, consulte a tabela de classificações de configuração em Configurar aplicativos.

Problemas conhecidos das versões anteriores que foram resolvidos

• Corrigido um problema em que a configuração maximizeResourceAllocation não reservava memória suficiente para os daemons ApplicationMaster do YARN.

• Corrigido um problema encontrado com um DNS personalizado. Se alguma entrada em resolve.conf preceder as entradas personalizadas fornecidas, as entradas personalizadas não serão resolvíveis. Esse comportamento foi afetado por clusters em uma VPC em que o servidor de nomes padrão da VPC está inserido como a entrada superior em resolve.conf.

• Corrigido um problema em que o Python padrão mudou para a versão 2.7 e boto não estava instalado para essa versão.

• Corrigido um problema em que contêineres do YARN e aplicativos do Spark geravam um arquivo (rrd) exclusivo do banco de dados Ganglia round robin, que resultava no enchimento do primeiro disco anexado à instância. Devido a essa correção, as métricas no nível do contêiner do YARN e as métricas no nível do aplicativo do Spark foram desativadas.

• Corrigido um problema no log pusher em que ele excluía todas as pastas de log vazias. O efeito era que a CLI do Hive não podia criar logs porque o log pusher estava removendo a pasta user vazia em /var/log/hive.

• Corrigido um problema com as importações do Hive, que afetava o particionamento e resultava em um erro durante a importação.

• Corrigido um problema em que EMRFS e s3-dist-cp não lidavam adequadamente com nomes de bucket que continham pontos.

• Alterado um comportamento no EMRFS, de modo que nos buckets habilitados para versionamento, o arquivo marcador _$folder$ não é criado continuamente, o que pode contribuir para um melhor desempenho dos buckets habilitados para versionamento.

• Alterado o comportamento no EMRFS de forma que ele não use os arquivos de instrução, exceto para casos em que a criptografia no lado do cliente esteja habilitada. Se desejar excluir os arquivos de instrução enquanto usa a criptografia no lado do cliente, você poderá definir a propriedade emrfs-site.xml fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled, como verdadeiro.

• Alterada a agregação de logs do YARN para reter os logs no destino de agregação por dois dias. O destino padrão é o armazenamento HDFS do cluster. Se desejar mudar essa duração, altere o valor de yarn.log-aggregation.retain-seconds usando a classificação de configuração yarn-site quando criar seu cluster. Como sempre, você pode salvar os logs de aplicações no Amazon S3 usando o parâmetro log-uri quando criar o cluster.

Patches aplicados

• HIVE-9655

• HIVE-9183

• HADOOP-12810