As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR versão 5.12.0
Versões da aplicação 5.12.0
Os seguintes aplicativos são compatíveis com esta versão: Flink
A tabela abaixo lista as versões do aplicativo disponíveis nesta versão da Amazon EMR e as versões do aplicativo nas três EMR versões anteriores da Amazon (quando aplicável).
Para obter um histórico abrangente das versões do aplicativo para cada lançamento da AmazonEMR, consulte os seguintes tópicos:
| emr-5.12.0 | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 | |
|---|---|---|---|---|
| AWS SDK para Java | 1.11.267 | 1.11.238 | 1.11.238 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.2 |
| Hadoop | 2.8.3 | 2.7.3 | 2.7.3 | 2.7.3 |
| Hive | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.2 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0 | 0.4.0 | 0.4.0 | 0.4.0 |
| MXNet | 1.0.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0 | 4.11.0 | 4.11.0 | 4.11.0 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.188 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (Em breve) SQL | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
Notas da versão 5.12.0
As notas de lançamento a seguir incluem informações para a EMR versão 5.12.0 da Amazon. As alterações são referentes à versão 5.11.1.
Atualizações
AWS SDKpara Java 1.11.238 ⇒ 1.11.267. Para obter mais informações, consulte AWS SDKo log de alterações do Java
GitHub. Hadoop 2.7.3 ⇒ 2.8.3. Para obter mais informações, consulte Versões do Apache Hadoop
. Flink 1.3.2 ⇒ 1.4.0. Para obter mais informações, consulte o Anúncio de versão do Apache Flink 1.4.0
. HBase1.3.1 ⇒ 1.4.0. Para obter mais informações, consulte o anúncio HBase de lançamento
. Hue 4.0.1 ⇒ 4.1.0. Para obter mais informações, consulte as Notas de versão
. MxNet 0,12,0 ⇒ 1,0,0. Para obter mais informações, consulte o MXNetChange Log
on GitHub. Presto 0.187 ⇒ 0.188. Para obter mais informações, consulte as Notas de versão
.
Alterações, melhorias e problemas resolvidos
Hadoop
A propriedade
yarn.resourcemanager.decommissioning.timeoutfoi alterada parayarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs. Você pode usar essa propriedade para personalizar a redução da escala do cluster verticalmente. Para obter mais informações, consulte Cluster Scale-Down no Amazon EMR Management Guide.O Hadoop CLI adicionou a
-dopção ao comandocp(copiar), que especifica a cópia direta. Você pode usar isso para evitar a criação de um arquivo.COPYINGintermediário, o que torna mais rápida a cópia de dados entre o Amazon S3. Para obter mais informações, consulte HADOOP-12384.
Pig
Adicionada a classificação de configuração
pig-env, que simplifica a configuração das propriedades do ambiente do Pig. Para obter mais informações, consulte Configurar aplicações.
Presto
Adicionada a classificação de configuração
presto-connector-redshift, que pode ser usada para configurar os valores no arquivo de configuraçãoredshift.propertiesdo Presto. Para obter mais informações, consulte Conector do Redshiftna documentação do Presto e Configurar aplicações. O suporte do Presto para EMRFS foi adicionado e é a configuração padrão. As EMR versões anteriores da Amazon usavam o PrestOS3FileSystem, que era a única opção. Para obter mais informações, consulte EMRFSe configuração do PrestOS3 FileSystem.
nota
Se você consultar dados subjacentes no Amazon S3 com a EMR versão 5.12.0 da Amazon, podem ocorrer erros do Presto. Isso acontece porque o Presto não consegue obter valores de classificação de configuração em
emrfs-site.xml. Como solução alternativa, crie um subdiretórioemrfsemusr/lib/presto/plugin/hive-hadoop2/e crie um link simbólico emusr/lib/presto/plugin/hive-hadoop2/emrfspara o arquivo/usr/share/aws/emr/emrfs/conf/emrfs-site.xmlexistente. Em seguida, reinicie o processo presto-server (sudo presto-server stopseguido porsudo presto-server start).
Spark
Backported SPARK-22036: a BigDecimal multiplicação
às vezes retorna nula.
Problemas conhecidos
MXNetnão inclui bibliotecas OpenCV.
O SparkR não está disponível para clusters criados usando um customizado porque o AMI R não é instalado por padrão nos nós do cluster.
Versões de componente 5.12.0
Os componentes que a Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos da Amazon EMR e são instalados para processos e recursos do sistema. Eles normalmente começam com emr ou aws. Os pacotes de aplicativos de big data na versão mais recente da Amazon EMR geralmente são a versão mais recente encontrada na comunidade. Disponibilizamos lançamentos comunitários na Amazon o mais EMR rápido possível.
Alguns componentes na Amazon EMR são diferentes das versões da comunidade. Esses componentes tem um rótulo de versão no formulário CommunityVersion-amzn-EmrVersionEmrVersionmyapp-component com a versão 2.2 tiver sido modificado três vezes para inclusão em diferentes EMR versões da Amazon, sua versão de lançamento será listada como2.2-amzn-2.
| Componente | Versão | Descrição |
|---|---|---|
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 2.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.4.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-s3-dist-cp | 2.9.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emrfs | 2.21.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.4.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. |
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. |
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. |
| hadoop-client | 2.8.3-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | HDFSserviço em nível de nó para armazenar blocos. |
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFScliente e biblioteca de linha de comando |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | HDFSserviço para rastrear nomes de arquivos e localizações de blocos. |
| hadoop-httpfs-server | 2.8.3-amzn-0 | HTTPendpoint para HDFS operações. |
| hadoop-kms-server | 2.8.3-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado no Hadoop. KeyProvider API |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | YARNserviço para gerenciar contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | YARNserviço para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | Serviço para recuperar informações atuais e históricas para YARN aplicativos. |
| hbase-hmaster | 1.4.0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 1.4.0 | Serviço para atender uma ou mais HBase regiões. |
| hbase-client | 1.4.0 | HBasecliente de linha de comando. |
| hbase-rest-server | 1.4.0 | Serviço que fornece um RESTful HTTP endpoint paraHBase. |
| hbase-thrift-server | 1.4.0 | Serviço que fornece um endpoint Thrift para. HBase |
| hcatalog-client | 2.3.2-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 2.3.2-amzn-1 | Fornecimento de serviçosHCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 2.3.2-amzn-1 | HTTPendpoint fornecendo uma REST interface paraHCatalog. |
| hive-client | 2.3.2-amzn-1 | O cliente da linha de comando do Hive. |
| hive-hbase | 2.3.2-amzn-1 | Cliente do Hive-hbase. |
| hive-metastore-server | 2.3.2-amzn-1 | Serviço para acessar o metastore Hive, um repositório semântico que armazena metadados para operações no Hadoop. SQL |
| hive-server2 | 2.3.2-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hue-server | 4.1.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| livy-server | 0.4.0-incubating | RESTinterface para interagir com o Apache Spark |
| mahout-client | 0.13.0 | A biblioteca de Machine Learning. |
| mxnet | 1.0.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. |
| mysql-server | 5.5.54+ | Meu servidor SQL de banco de dados. |
| nvidia-cuda | 9.1.85 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 4.3.0 | O cliente da linha de comando do Oozie. |
| oozie-server | 4.3.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| phoenix-library | 4.13.0- -1,4 HBase | As bibliotecas do phoenix para servidor e cliente |
| phoenix-query-server | 4.13.0- -1,4 HBase | Um servidor leve que fornece JDBC acesso, buffers de protocolo e acesso ao JSON formato do Avatica API |
| presto-coordinator | 0.188 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0.188 | O serviço que executa partes de uma consulta. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| spark-client | 2.2.1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 2.2.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 2.2.1 | Mecanismo de execução na memória paraYARN. |
| spark-yarn-slave | 2.2.1 | Bibliotecas do Apache Spark necessárias para escravos. YARN |
| sqoop-client | 1.4.6 | O cliente da linha de comando do Apache Sqoop. |
| tez-on-yarn | 0.8.4 | O YARN aplicativo e as bibliotecas tez. |
| webserver | 2.4.25+ | HTTPServidor Apache. |
| zeppelin-server | 0.7.3 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.4.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.4.10 | ZooKeeper cliente de linha de comando. |
Classificações de configuração 5.12.0
As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, comohive-site.xml. Para obter mais informações, consulte Configurar aplicações.
| Classificações | Descrição |
|---|---|
capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. |
core-site | Alterar os valores no arquivo core-site.xml do Hadoop. |
emrfs-site | Altere EMRFS as configurações. |
flink-conf | Alterar as configurações do flink-conf.yaml. |
flink-log4j | Alterar as configurações de log4j.properties no Flink. |
flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. |
flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. |
hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. |
hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. |
hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop |
hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop |
hbase | Configurações EMR selecionadas pela Amazon para Apache. HBase |
hbase-env | Mude os valores no HBase ambiente. |
hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. |
hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. |
hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. |
hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. |
hdfs-encryption-zones | Configure zonas de HDFS criptografia. |
hdfs-site | Altere os valores no HDFS hdfs-site.xml. |
hcatalog-env | Mude os valores no HCatalog ambiente. |
hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. |
hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. |
hcatalog-webhcat-env | Altere os valores no ambiente ebHCat de HCatalog W. |
hcatalog-webhcat-log4j2 | Altere os valores nas propriedades ebHCat log4j2.properties de HCatalog W. |
hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml de HCatalog W. ebHCat |
hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. |
hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. |
hive-env | Alterar os valores no ambiente do Hive. |
hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. |
hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. |
hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. |
hive-site | Alterar os valores no arquivo hive-site.xml do Hive. |
hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. |
hue-ini | Alterar os valores no arquivo ini do Hue |
httpfs-env | Mude os valores no HTTPFS ambiente. |
httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. |
hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. |
hadoop-kms-env | Altere os valores no ambiente HadoopKMS. |
hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. |
hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. |
livy-conf | Alterar os valores no arquivo livy.conf do Livy. |
livy-env | Alterar os valores no ambiente do Livy. |
livy-log4j | Alterar as configurações de log4j.properties no Livy. |
mapred-env | Altere os valores no ambiente do MapReduce aplicativo. |
mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. |
oozie-env | Alterar os valores no ambiente do Oozie. |
oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. |
oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. |
phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. |
phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. |
phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. |
phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. |
pig-env | Alterar os valores no ambiente do Pig. |
pig-properties | Alterar os valores no arquivo pig.properties do Pig. |
pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. |
presto-log | Alterar os valores no arquivo log.properties do Presto. |
presto-config | Alterar os valores no arquivo config.properties do Presto. |
presto-env | Altere os valores no arquivo presto-env.sh do Presto. |
presto-node | Altere os valores no arquivo node.properties do Presto. |
presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. |
presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. |
presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. |
presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. |
presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. |
presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. |
presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. |
presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. |
presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. |
presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. |
presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. |
presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. |
presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. |
spark | Configurações EMR selecionadas pela Amazon para o Apache Spark. |
spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. |
spark-env | Alterar os valores no ambiente do Spark. |
spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. |
spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. |
spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. |
sqoop-env | Alterar os valores no ambiente do Sqoop. |
sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. |
sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. |
tez-site | Alterar os valores no arquivo tez-site.xml do Tez. |
yarn-env | Mude os valores no YARN ambiente. |
yarn-site | Altere os valores no YARN arquivo yarn-site.xml do. |
zeppelin-env | Alterar os valores no ambiente do Zeppelin. |
zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. |
zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |
