As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR versão 4.0.0
Versões do aplicativo 4.0.0
As seguintes aplicações são compatíveis com esta versão: Hadoop
A tabela abaixo lista as versões do aplicativo disponíveis nesta versão da Amazon EMR e as versões do aplicativo nas três EMR versões anteriores da Amazon (quando aplicável).
Para obter um histórico abrangente das versões do aplicativo para cada lançamento da AmazonEMR, consulte os seguintes tópicos:
Informações da versão da aplicação | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
emr-4.3.0 | emr-4.2.0 | emr-4.1.0 | emr-4.0.0 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
AWS SDK para Java | 1.10.27 | 1.10.27 | Não rastreadas | Não rastreadas | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Python | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Scala | Não rastreadas | Não rastreadas | Não rastreadas | Não rastreadas | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
AmazonCloudWatchAgent | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Delta | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Flink | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Ganglia | 3.7.2 | 3.6.0 | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
HBase | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
HCatalog | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Hadoop | 2.7.1 | 2.6.0 | 2.6.0 | 2.6.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Hive | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Hudi | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Hue | 3.7.1 | 3.7.1 | 3.7.1 | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Iceberg | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
JupyterEnterpriseGateway | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
JupyterHub | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Livy | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
MXNet | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Mahout | 0.11.0 | 0.11.0 | 0.11.0 | 0.10.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Oozie | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Oozie-Sandbox | 4.2.0 | 4.2.0 | 4.0.1 | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Phoenix | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Pig | 0.14.0 | 0.14.0 | 0.14.0 | 0.14.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Presto | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Presto-Sandbox | 0.130 | 0.125 | 0.119 | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Spark | 1.6.0 | 1.5.2 | 1.5.0 | 1.4.1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Sqoop | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Sqoop-Sandbox | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
TensorFlow | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Tez | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Trino (PrestoSQL) | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Zeppelin | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Zeppelin-Sandbox | 0.5.5 | 0.5.5 | 0.6.0- SNAPSHOT | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ZooKeeper | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ZooKeeper-Sandbox | - | - | - | - |
Notas de lançamento da 4.0.0
Versões do componente 4.0.0
Os componentes que a Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos da Amazon EMR e são instalados para processos e recursos do sistema. Eles normalmente começam com emr
ou aws
. Os pacotes de aplicativos de big data na versão mais recente da Amazon EMR geralmente são a versão mais recente encontrada na comunidade. Disponibilizamos lançamentos comunitários na Amazon o mais EMR rápido possível.
Alguns componentes na Amazon EMR são diferentes das versões da comunidade. Esses componentes tem um rótulo de versão no formulário
. O CommunityVersion
-amzn-EmrVersion
começa em 0. Por exemplo, se um componente de comunidade de código aberto nomeado EmrVersion
myapp-component
com a versão 2.2 tiver sido modificado três vezes para inclusão em diferentes EMR versões da Amazon, sua versão de lançamento será listada como2.2-amzn-2
.
Componente | Version (Versão) | Descrição |
---|---|---|
emr-ddb | 3.0.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
emr-goodies | 2.0.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
emr-kinesis | 3.0.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
emr-s3-dist-cp | 2.0.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
emrfs | 2.0.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
hadoop-client | 2.6.0-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
hadoop-hdfs-datanode | 2.6.0-amzn-0 | HDFSserviço em nível de nó para armazenar blocos. |
hadoop-hdfs-namenode | 2.6.0-amzn-0 | HDFSserviço para rastrear nomes de arquivos e localizações de blocos. |
hadoop-httpfs-server | 2.6.0-amzn-0 | HTTPendpoint para HDFS operações. |
hadoop-mapred | 2.6.0-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
hadoop-yarn-nodemanager | 2.6.0-amzn-0 | YARNserviço para gerenciar contêineres em um nó individual. |
hadoop-yarn-resourcemanager | 2.6.0-amzn-0 | YARNserviço para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
hive-client | 1.0.0-amzn-0 | O cliente da linha de comando do Hive. |
hive-metastore-server | 1.0.0-amzn-0 | Serviço para acessar o metastore Hive, um repositório semântico que armazena metadados para operações no Hadoop. SQL |
hive-server | 1.0.0-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. |
mahout-client | 0.10.0 | A biblioteca de Machine Learning. |
mysql-server | 5.5 | Meu servidor SQL de banco de dados. |
pig-client | 0.14.0-amzn-0 | O cliente da linha de comando do Pig. |
spark-client | 1.4.1 | Os clientes da linha de comando do Spark. |
spark-history-server | 1.4.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
spark-on-yarn | 1.4.1 | Mecanismo de execução na memória paraYARN. |
spark-yarn-slave | 1.4.1 | Bibliotecas do Apache Spark necessárias para escravos. YARN |
Classificações de configuração 4.0.0
As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, comohive-site.xml
. Para ter mais informações, consulte Configurar aplicações.
Classificações do emr-4.0.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Classificações | Descrição | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emrfs-site | Altere EMRFS as configurações. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hdfs-site | Altere os valores em HDFS's hdfs-site.xml. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-env | Alterar os valores no ambiente do Hive. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-exec-log4j | Altere os valores no arquivo hive-exec-log 4j.properties do Hive. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-log4j | Alterar os valores no arquivo hive-log4j.properties do Hive. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
httpfs-env | Mude os valores no HTTPFS ambiente. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
pig-properties | Alterar os valores no arquivo pig.properties do Pig. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark | Configurações EMR selecionadas pela Amazon para o Apache Spark. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-env | Alterar os valores no ambiente do Spark. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
yarn-env | Mude os valores no YARN ambiente. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
yarn-site | Altere os valores no YARN arquivo yarn-site.xml do. |