As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR versão 4.2.0
Versões 4.2.0 da aplicação
Os seguintes aplicativos são compatíveis com esta versão: Ganglia
A tabela abaixo lista as versões do aplicativo disponíveis nesta versão da Amazon EMR e as versões do aplicativo nas três EMR versões anteriores da Amazon (quando aplicável).
Para obter um histórico abrangente das versões do aplicativo para cada lançamento da AmazonEMR, consulte os seguintes tópicos:
| emr-4.3.0 | emr-4.2.0 | emr-4.1.0 | emr-4.0.0 | |
|---|---|---|---|---|
| AWS SDK para Java | 1.10.27 | 1.10.27 | Não rastreadas | Não rastreadas |
| Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| Scala | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.6.0 | - | - |
| HBase | - | - | - | - |
| HCatalog | - | - | - | - |
| Hadoop | 2.7.1 | 2.6.0 | 2.6.0 | 2.6.0 |
| Hive | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Hudi | - | - | - | - |
| Hue | 3.7.1 | 3.7.1 | 3.7.1 | - |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.11.0 | 0.11.0 | 0.11.0 | 0.10.0 |
| Oozie | - | - | - | - |
| Oozie-Sandbox | 4.2.0 | 4.2.0 | 4.0.1 | - |
| Phoenix | - | - | - | - |
| Pig | 0.14.0 | 0.14.0 | 0.14.0 | 0.14.0 |
| Presto | - | - | - | - |
| Presto-Sandbox | 0.130 | 0.125 | 0.119 | - |
| Spark | 1.6.0 | 1.5.2 | 1.5.0 | 1.4.1 |
| Sqoop | - | - | - | - |
| Sqoop-Sandbox | - | - | - | - |
| TensorFlow | - | - | - | - |
| Tez | - | - | - | - |
| Trino (Em breve) SQL | - | - | - | - |
| Zeppelin | - | - | - | - |
| Zeppelin-Sandbox | 0.5.5 | 0.5.5 | 0.6.0- SNAPSHOT | - |
| ZooKeeper | - | - | - | - |
| ZooKeeper-Caixa de areia | - | - | - | - |
Notas da versão 4.2.0
As notas de lançamento a seguir incluem informações para a versão EMR 4.2.0 da Amazon.
Data do release: 18 de novembro de 2015
Atributos
-
Adicionado o suporte ao Ganglia
-
Atualizado para Spark 1.5.2
-
Atualizado para Presto 0.125
-
Oozie atualizado para 4.2.0
-
Zeppelin atualizado para 0.5.5
-
Atualizou o AWS SDK for Java para 1.10.27
Problemas conhecidos das versões anteriores que foram resolvidos
-
Corrigido um problema EMRFS CLI em que ele não usava o nome padrão da tabela de metadados.
-
Corrigido um problema encontrado ao usar tabelas ORC apoiadas por -back no Amazon S3.
-
Corrigido um problema encontrado com uma divergência de versão do Python na configuração do Spark.
-
Corrigido um problema quando o status de um YARN nó não era reportado devido a DNS problemas com clusters em umVPC.
-
Corrigido um problema encontrado ao YARN descomissionar nós, resultando em aplicativos suspensos ou na incapacidade de programar novos aplicativos.
-
Corrigido um problema encontrado quando os clusters terminavam com o status TIMED _ OUT _STARTING.
-
Corrigido um problema encontrado ao incluir a dependência do EMRFS Scala em outras compilações. A dependência Scala foi removida.
Versões de componente 4.2.0
Os componentes que a Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos da Amazon EMR e são instalados para processos e recursos do sistema. Eles normalmente começam com emr ou aws. Os pacotes de aplicativos de big data na versão mais recente da Amazon EMR geralmente são a versão mais recente encontrada na comunidade. Disponibilizamos lançamentos comunitários na Amazon o mais EMR rápido possível.
Alguns componentes na Amazon EMR são diferentes das versões da comunidade. Esses componentes tem um rótulo de versão no formulário CommunityVersion-amzn-EmrVersionEmrVersionmyapp-component com a versão 2.2 tiver sido modificado três vezes para inclusão em diferentes EMR versões da Amazon, sua versão de lançamento será listada como2.2-amzn-2.
| Componente | Versão | Descrição |
|---|---|---|
| emr-ddb | 3.0.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.0.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.1.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.0.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.2.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| ganglia-monitor | 3.6.0 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.6.0 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.5.10 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.6.0-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.6.0-amzn-2 | HDFSserviço em nível de nó para armazenar blocos. |
| hadoop-hdfs-library | 2.6.0-amzn-2 | HDFScliente e biblioteca de linha de comando |
| hadoop-hdfs-namenode | 2.6.0-amzn-2 | HDFSserviço para rastrear nomes de arquivos e localizações de blocos. |
| hadoop-httpfs-server | 2.6.0-amzn-2 | HTTPendpoint para HDFS operações. |
| hadoop-kms-server | 2.6.0-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado no Hadoop. KeyProvider API |
| hadoop-mapred | 2.6.0-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.6.0-amzn-2 | YARNserviço para gerenciar contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.6.0-amzn-2 | YARNserviço para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hive-client | 1.0.0-amzn-1 | O cliente da linha de comando do Hive. |
| hive-metastore-server | 1.0.0-amzn-1 | Serviço para acessar o metastore Hive, um repositório semântico que armazena metadados para operações no Hadoop. SQL |
| hive-server | 1.0.0-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 3.7.1-amzn-5 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| mahout-client | 0.11.0 | A biblioteca de Machine Learning. |
| mysql-server | 5.5 | Meu servidor SQL de banco de dados. |
| oozie-client | 4.2.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| presto-coordinator | 0.125 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.125 | O serviço que executa partes de uma consulta. |
| pig-client | 0.14.0-amzn-0 | O cliente da linha de comando do Pig. |
| spark-client | 1.5.2 | Os clientes da linha de comando do Spark. |
| spark-history-server | 1.5.2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 1.5.2 | Mecanismo de execução na memória paraYARN. |
| spark-yarn-slave | 1.5.2 | Bibliotecas do Apache Spark necessárias para escravos. YARN |
| webserver | 2.4 | HTTPServidor Apache. |
| zeppelin-server | 0.5.5-incubating-amzn-0 | O notebook baseado na web que permite um data analytics interativo. |
Classificações de configuração 4.2.0
As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, comohive-site.xml. Para obter mais informações, consulte Configurar aplicações.
| Classificações | Descrição |
|---|---|
capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
emrfs-site | Altere EMRFS as configurações. |
hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
hdfs-encryption-zones | Configure zonas de HDFS criptografia. |
hdfs-site | Altere os valores em HDFS's hdfs-site.xml. |
hive-env | Alterar os valores no ambiente do Hive. |
hive-exec-log4j | Altere os valores no arquivo hive-exec-log 4j.properties do Hive. |
hive-log4j | Alterar os valores no arquivo hive-log4j.properties do Hive. |
hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
hue-ini | Alterar os valores no arquivo ini do Hue |
httpfs-env | Mude os valores no HTTPFS ambiente. |
httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
hadoop-kms-env | Altere os valores no ambiente HadoopKMS. |
hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
oozie-env | Alterar os valores no ambiente do Oozie. |
oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
presto-log | Alterar os valores no arquivo log.properties do Presto. |
presto-config | Alterar os valores no arquivo config.properties do Presto. |
presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
spark | Configurações EMR selecionadas pela Amazon para o Apache Spark. |
spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
spark-env | Alterar os valores no ambiente do Spark. |
spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
yarn-env | Mude os valores no YARN ambiente. |
yarn-site | Altere os valores no YARN arquivo yarn-site.xml do. |
zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
