Amazon EMR versão 4.6.0 - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR versão 4.6.0

Versões do aplicativo 4.6.0

As seguintes aplicações são compatíveis com esta versão: Ganglia, HBase, HCatalog, Hadoop, Hive, Hue, Mahout, Oozie-Sandbox, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Zeppelin-Sandbox e ZooKeeper-Sandbox.

A tabela abaixo lista as versões do aplicativo disponíveis nesta versão da Amazon EMR e as versões do aplicativo nas três EMR versões anteriores da Amazon (quando aplicável).

Para obter um histórico abrangente das versões do aplicativo para cada lançamento da AmazonEMR, consulte os seguintes tópicos:

Informações da versão da aplicação
emr-4.6.0 emr-4.5.0 emr-4.4.0 emr-4.3.0
AWS SDK para Java 1.10.271.10.271.10.271.10.27
Python Não rastreadasNão rastreadasNão rastreadasNão rastreadas
Scala Não rastreadasNão rastreadasNão rastreadasNão rastreadas
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink - - - -
Ganglia3.7.23.7.23.7.23.7.2
HBase1.2.0 - - -
HCatalog1.0.01.0.01.0.0 -
Hadoop2.7.22.7.22.7.12.7.1
Hive1.0.01.0.01.0.01.0.0
Hudi - - - -
Hue3.7.13.7.13.7.13.7.1
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub - - - -
Livy - - - -
MXNet - - - -
Mahout0.11.10.11.10.11.10.11.0
Oozie - - - -
Oozie-Sandbox4.2.04.2.04.2.04.2.0
Phoenix - - - -
Pig0.14.00.14.00.14.00.14.0
Presto - - - -
Presto-Sandbox0.1430.1400.1360.130
Spark1.6.11.6.11.6.01.6.0
Sqoop - - - -
Sqoop-Sandbox1.4.61.4.61.4.6 -
TensorFlow - - - -
Tez - - - -
Trino (PrestoSQL) - - - -
Zeppelin - - - -
Zeppelin-Sandbox0.5.60.5.60.5.60.5.5
ZooKeeper - - - -
ZooKeeper-Sandbox3.4.8 - - -

Notas de lançamento da 4.6.0

As notas de lançamento a seguir incluem informações para a versão EMR 4.6.0 da Amazon.

  • Adicionado HBase 1.2.0

  • Adicionado o ZooKeeper-Sandbox 3.4.8

  • Atualizado para Presto-Sandbox 0.143

  • Os EMR lançamentos da Amazon agora são baseados no Amazon Linux 2016.03.0. Para ter mais informações, consulte https://aws.amazon.com/amazon-linux-ami/2016.03-release-notes/.

  • Problema que afeta os tipos de volume com taxa de transferência otimizada HDD (st1) EBS

    Um problema nas versões 4.2 e superiores do kernel Linux afeta significativamente o desempenho nos volumes Throughput Optimized HDD (st1) EBS do. EMR Esta versão (emr-4.6.0) usa uma versão do kernel 4.4.5 e, portanto, é afetada. Portanto, recomendamos não usar o emr-4.6.0 se você quiser usar volumes st1. EBS Você pode usar o emr-4.5.0 ou EMR versões anteriores da Amazon com st1 sem impacto. Além disso, fornecemos a correção com futuras versões.

  • Padrões Python

    O Python 3.4 agora está instalado por padrão, mas o Python 2.7 permanece como o sistema padrão. Você pode configurar o Python 3.4 como o padrão do sistema usando uma ação de bootstrap; você pode usar a configuração API para definir PYSPARK _ PYTHON export to /usr/bin/python3.4 na spark-env classificação para afetar a versão do Python usada por. PySpark

  • Java 8

    Com exceção do Presto, o Open JDK 1.7 é o padrão JDK usado para todos os aplicativos. No entanto, o Open JDK 1.7 e o 1.8 estão instalados. Para obter mais informações sobre como configurar JAVA_HOME para aplicativos, consulte Configuração de aplicativos para usar Java 8.

Problemas conhecidos das versões anteriores que foram resolvidos
  • Corrigido um problema em que, às vezes, ocorria uma falha aleatória no provisionamento de aplicativos devido a uma senha gerada.

  • Anteriormente, mysqld estava instalado em todos os nós. Agora, ele só está instalado na instância principal e somente se o aplicativo escolhido incluir mysql-server como componente. Atualmente, os seguintes aplicativos incluem o mysql-server componente: HiveHCatalog, Hue, Presto-Sandbox e Sqoop-Sandbox.

  • Alterado do padrão 32 yarn.scheduler.maximum-allocation-vcores para 80, o que corrige um problema introduzido no emr-4.4.0 que ocorre principalmente com o Spark ao usar a maximizeResourceAllocation opção em um cluster cujo tipo de instância principal é um dos poucos tipos de instância grandes que têm YARN vcores definidos acima de 32; ou seja, c4.8xlarge, cc2.8xlarge, hs1.8xlarge, i2.8xlarge, m2.4xlarge, r3.8xlarge, d2.8xlarge grande ou m4.10xlarge foram afetados por esse problema.

  • O s3-dist-cp agora é usado para todas as indicações ao EMRFS Amazon S3 e não é mais usado em um diretório temporário. HDFS

  • Corrigido um problema com o tratamento de exceções para os multipart uploads de criptografia no lado do cliente.

  • Adicionada uma opção para permitir que os usuários alterem a classe de armazenamento do Amazon S3. Por padrão, essa configuração é STANDARD. A configuração da classificação de configuração emrfs-site é fs.s3.storageClass e os valores possíveis são STANDARD, STANDARD_IAe REDUCED_REDUNDANCY. Para obter mais informações sobre classes de armazenamento, consulte Classes de armazenamento no Guia do usuário do Amazon Simple Storage Service.

Versões de componentes 4.6.0

Os componentes que a Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos da Amazon EMR e são instalados para processos e recursos do sistema. Eles normalmente começam com emr ou aws. Os pacotes de aplicativos de big data na versão mais recente da Amazon EMR geralmente são a versão mais recente encontrada na comunidade. Disponibilizamos lançamentos comunitários na Amazon o mais EMR rápido possível.

Alguns componentes na Amazon EMR são diferentes das versões da comunidade. Esses componentes tem um rótulo de versão no formulário CommunityVersion-amzn-EmrVersion. O EmrVersion começa em 0. Por exemplo, se um componente de comunidade de código aberto nomeado myapp-component com a versão 2.2 tiver sido modificado três vezes para inclusão em diferentes EMR versões da Amazon, sua versão de lançamento será listada como2.2-amzn-2.

Componente Version (Versão) Descrição
emr-ddb3.0.0O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop.
emr-goodies2.0.0Bibliotecas convenientes para o ecossistema do Hadoop.
emr-kinesis3.1.0O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop.
emr-s3-dist-cp2.3.0Cópia distribuída otimizada de aplicativos para o Amazon S3.
emrfs2.6.0O conector do Amazon S3 para aplicações do ecossistema do Hadoop.
ganglia-monitor3.7.2O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia.
ganglia-metadata-collector3.7.2O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia.
ganglia-web3.7.1O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia.
hadoop-client2.7.2-amzn-1Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'.
hadoop-hdfs-datanode2.7.2-amzn-1HDFSserviço em nível de nó para armazenar blocos.
hadoop-hdfs-library2.7.2-amzn-1HDFScliente e biblioteca de linha de comando
hadoop-hdfs-namenode2.7.2-amzn-1HDFSserviço para rastrear nomes de arquivos e localizações de blocos.
hadoop-httpfs-server2.7.2-amzn-1HTTPendpoint para HDFS operações.
hadoop-kms-server2.7.2-amzn-1Servidor de gerenciamento de chaves criptográficas baseado no Hadoop. KeyProvider API
hadoop-mapred2.7.2-amzn-1MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo.
hadoop-yarn-nodemanager2.7.2-amzn-1YARNserviço para gerenciar contêineres em um nó individual.
hadoop-yarn-resourcemanager2.7.2-amzn-1YARNserviço para alocar e gerenciar recursos de cluster e aplicativos distribuídos.
hbase-hmaster1.2.0Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos.
hbase-region-server1.2.0Serviço para atender uma ou mais HBase regiões.
hbase-client1.2.0HBasecliente de linha de comando.
hbase-rest-server1.2.0Serviço que fornece um RESTful HTTP endpoint paraHBase.
hbase-thrift-server1.2.0Serviço que fornece um endpoint Thrift para. HBase
hcatalog-client1.0.0-amzn-4O cliente da linha de comando 'hcat' para manipular o hcatalog-server.
hcatalog-server1.0.0-amzn-4Fornecimento de serviçosHCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos.
hcatalog-webhcat-server1.0.0-amzn-4HTTPendpoint fornecendo uma REST interface paraHCatalog.
hive-client1.0.0-amzn-4O cliente da linha de comando do Hive.
hive-metastore-server1.0.0-amzn-4Serviço para acessar o metastore Hive, um repositório semântico que armazena metadados para operações no Hadoop. SQL
hive-server1.0.0-amzn-4O serviço que aceita as consultas do Hive como solicitações da web.
hue-server3.7.1-amzn-6O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop
mahout-client0.11.1A biblioteca de Machine Learning.
mysql-server5.5Meu servidor SQL de banco de dados.
oozie-client4.2.0O cliente da linha de comando do Oozie.
oozie-server4.2.0O serviço que aceita solicitações de fluxo de trabalho do Oozie.
presto-coordinator0.143O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers.
presto-worker0.143O serviço que executa partes de uma consulta.
pig-client0.14.0-amzn-0O cliente da linha de comando do Pig.
spark-client1.6.1Os clientes da linha de comando do Spark.
spark-history-server1.6.1A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído.
spark-on-yarn1.6.1Mecanismo de execução na memória paraYARN.
spark-yarn-slave1.6.1Bibliotecas do Apache Spark necessárias para escravos. YARN
sqoop-client1.4.6O cliente da linha de comando do Apache Sqoop.
webserver2.4HTTPServidor Apache.
zeppelin-server0.5.6-incubatingO notebook baseado na web que permite a análise de dados interativa.
zookeeper-server3.4.8O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo.
zookeeper-client3.4.8ZooKeeper cliente de linha de comando.

4.6.0 classificações de configuração

As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, comohive-site.xml. Para ter mais informações, consulte Configurar aplicações.

Classificações do emr-4.6.0
Classificações Descrição

capacity-scheduler

Alterar os valores no arquivo capacity-scheduler.xml do Hadoop.

core-site

Alterar os valores no arquivo core-site.xml do Hadoop.

emrfs-site

Altere EMRFS as configurações.

hadoop-env

Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop.

hadoop-log4j

Alterar os valores no arquivo log4j.properties do Hadoop.

hbase-env

Mude os valores no HBase ambiente.

hbase-log4j

Altere os valores no arquivo HBase hbase-log4j.properties.

hbase-metrics

Altere os valores no arquivo HBase hadoop-metrics2-hbaase.properties do.

hbase-policy

Altere os valores no HBase arquivo hbase-policy.xml do.

hbase-site

Altere os valores no HBase arquivo hbase-site.xml do.

hdfs-encryption-zones

Configure zonas de HDFS criptografia.

hdfs-site

Altere os valores em HDFS's hdfs-site.xml.

hcatalog-env

Mude os valores no HCatalog ambiente.

hcatalog-server-jndi

Altere os valores em HCatalog jndi.properties.

hcatalog-server-proto-hive-site

Altere os valores em HCatalog proto-hive-site .xml.

hcatalog-webhcat-env

Altere os valores no ambiente ebHCat de HCatalog W.

hcatalog-webhcat-log4j

Altere os valores nas propriedades ebHCat log4j.properties de HCatalog W.

hcatalog-webhcat-site

Altere os valores no arquivo webhcat-site.xml de HCatalog W. ebHCat

hive-env

Alterar os valores no ambiente do Hive.

hive-exec-log4j

Altere os valores no arquivo hive-exec-log 4j.properties do Hive.

hive-log4j

Alterar os valores no arquivo hive-log4j.properties do Hive.

hive-site

Alterar os valores no arquivo hive-site.xml do Hive.

hue-ini

Alterar os valores no arquivo ini do Hue

httpfs-env

Mude os valores no HTTPFS ambiente.

httpfs-site

Alterar os valores no arquivo httpfs-site.xml do Hadoop.

hadoop-kms-acls

Alterar os valores no arquivo kms-acls.xml do Hadoop.

hadoop-kms-env

Altere os valores no ambiente HadoopKMS.

hadoop-kms-log4j

Alterar os valores no arquivo kms-log4j.properties do Hadoop.

hadoop-kms-site

Alterar os valores no arquivo kms-site.xml do Hadoop.

mapred-env

Altere os valores no ambiente do MapReduce aplicativo.

mapred-site

Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo.

oozie-env

Alterar os valores no ambiente do Oozie.

oozie-log4j

Alterar os valores no arquivo oozie-log4j.properties do Oozie.

oozie-site

Alterar os valores no arquivo oozie-site.xml do Oozie.

pig-properties

Alterar os valores no arquivo pig.properties do Pig.

pig-log4j

Alterar os valores no arquivo log4j.properties do Pig.

presto-log

Alterar os valores no arquivo log.properties do Presto.

presto-config

Alterar os valores no arquivo config.properties do Presto.

presto-connector-hive

Alterar os valores no arquivo hive.properties do Presto.

spark

Configurações EMR selecionadas pela Amazon para o Apache Spark.

spark-defaults

Alterar os valores no arquivo spark-defaults.conf do Spark.

spark-env

Alterar os valores no ambiente do Spark.

spark-log4j

Alterar os valores no arquivo log4j.properties do Spark.

spark-metrics

Alterar os valores no arquivo metrics.properties do Spark.

sqoop-env

Alterar os valores no ambiente do Sqoop.

sqoop-oraoop-site

Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop.

sqoop-site

Alterar os valores no arquivo sqoop-site.xml do Sqoop.

yarn-env

Mude os valores no YARN ambiente.

yarn-site

Altere os valores no YARN arquivo yarn-site.xml do.

zeppelin-env

Alterar os valores no ambiente do Zeppelin.

zookeeper-config

Altere os valores no ZooKeeper arquivo zoo.cfg do.

zookeeper-log4j

Altere os valores no ZooKeeper arquivo log4j.properties.