As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR versão 7.5.0
Ciclo de vida compatível com 7.5.0
A tabela a seguir descreve as datas de ciclo de vida suportadas para a versão 7.5.0 do Amazon EMR.
| Fase de suporte | Data |
|---|---|
| Data da versão inicial | 21 de novembro de 2024 |
| Suporte padrão até | 20 de novembro de 2026 |
| Término do suporte | 21 de novembro de 2026 |
| Fim da vida útil | 21 de novembro de 2027 |
Para obter uma lista de vulnerabilidades e exposições (CVEs) comuns críticas e altas que não afetam os clusters do EMR de acordo com o software e as configurações recomendados, consulte 7.5.0 vulnerabilidades e exposições comuns conhecidas para mecanismos principais.
Componentes da versão 7.5.0
O Amazon EMR 7.5.0 inclui os seguintes aplicativos:
Mecanismos centrais:
AmazonCloudWatchAgent, Delta, Flink, Hadoop,,, Hive HBase, Hudi HCatalog, Livy, Iceberg, Phoenix, Spark, Tez, Trino JupyterEnterpriseGateway, Zookeeper
Extras:
Hue, Oozie JupyterHub, Porco, Presto, Zeppelin TensorFlow
Para obter mais detalhes sobre os pacotes incluídos, consulte Versões do aplicativo nas versões 7.x do Amazon EMR. Para obter mais informações sobre os mecanismos centrais e extras, consulte Amazon EMR Standard Support.
Versões do aplicativo 7.5.0
Essa versão inclui os seguintes aplicativos: AmazonCloudWatchAgent, Delta
A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).
Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
| emr-7.5.0 | emr-7.4.0 | emr-7.3.0 | emr-7.2.0 | |
|---|---|---|---|---|
| AWS SDK for Java | 2.28.8, 1.12.772 | 2.28.8, 1.12.772 | 2.25.70, 1.12.747 | 2.23.18, 1.12.705 |
| Python | 3,9, 3,11 | 3,9, 3,11 | 3,9, 3,11 | 3,9, 3,11 |
| Scala | 2.12.18 | 2.12.18 | 2.12.18 | 2.12.17 |
| AmazonCloudWatchAgent | 1.300032.2 | 1.300032.2 | 1.300032.2 | 1.300032.2 |
| Delta | 3.2.1-amzn-0 | 3.2.0-amzn-1 | 3.2.0-amzn-0 | 3.1.0 |
| Flink | 1.19.1 | 1.19.1 | 1.18.1 | 1.18.1 |
| Ganglia | - | - | - | - |
| HBase | 2.5.10 | 2.5.5 | 2.4.17 | 2.4.17 |
| HCatalog | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| Hadoop | 3.4.0 | 3.4.0 | 3.3.6 | 3.3.6 |
| Hive | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| Hudi | 0.15.0-amzn-2 | 0.15.0-amzn-1 | 0.15.0-amzn-0 | 0.14.1-amzn-1 |
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 |
| Iceberg | 1.6.1-amzn-1 | 1.6.1-amzn-0 | 1.5.2-amzn-0 | 1.5.0-amzn-0 |
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 |
| JupyterHub | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 |
| Livy | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| MXNet | - | - | - | 1.9.1 |
| Mahout | - | - | - | - |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
| Phoenix | 5.2.0 | 5.2.0 | 5.1.3 | 5.1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0,287 | 0,287 | 0,285 | 0,285 |
| Spark | 3.5.2 | 3.5.2 | 3.5.1 | 3.5.1 |
| Sqoop | - | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.16.1 | 2.16.1 | 2.16.1 | 2.11.0 |
| Tez | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 |
| Trino | 446 | 446 | 442 | 436 |
| Zeppelin | 0.11.1 | 0.11.1 | 0.11.1 | 0.10.1 |
| ZooKeeper | 3.9.2 | 3.9.2 | 3.9.1 | 3.9.1 |
Notas de lançamento da versão 7.5.0
As notas de lançamento a seguir incluem informações sobre a versão 7.5.0 do Amazon EMR.
Novos recursos
-
Atualizações de aplicativos — Amazon EMR 7.5.0 application upgrades include Delta 3.2.1-amzn-0, HBase 2.5.10, Hudi 0.15.0-amzn-2, and Iceberg 1.6.1-amzn-1.
Os registros de gravação antecipada (WAL) do EMR oferecem suporte à replicação entre clusters. Para obter mais informações, consulte Replicação entre clusters do EMR WAL.
Problemas conhecidos
-
O Apache Sqoop foi removido do Amazon EMR versão 7.5 e versões posteriores.
-
Quando o escalonamento gerenciado está ativado, o YARN ResourceManager (RM) enfrenta um problema crítico de impasse, fazendo com que ele pare de responder ao passar do estado DESCOMISSIONADO para DESCOMISSIONADO com operações simultâneas. Isso acontece principalmente em ambientes de grandes clusters. Quando isso ocorre, tanto as transições de estado do nó quanto as transições de estado do aplicativo falham no processamento, paralisando efetivamente a funcionalidade principal do. ResourceManager Como solução alternativa, reinicie o RM JVM usando o seguinte comando no nó primário:
sudo systemctl restart hadoop-yarn-resourcemanager -
Quando um cluster EMR é iniciado com agendadores YARN diferentes do
CapacitySchedulerouFairScheduler(por exemplo, o Agendador FIFO), aYARNMemoryAvailablePercentagemétrica não é enviada para. CloudWatch Esse problema afeta a redução de escala em clusters habilitados para escalabilidade gerenciada. Também pode afetar o escalonamento gerenciado personalizado se depender daYARNMemoryAvailablePercentagemétrica. Como solução alternativa, use oCapacitySchedulerouFairScheduler.
Alterações, melhorias e problemas resolvidos
-
O Amazon EMR usa diferentes versões da TensorFlow biblioteca, dependendo dos tipos de instância que você escolher para o seu cluster. O Amazon EMR também oferece suporte TensorFlow para clusters com tipos de instância aarch64 (instâncias Graviton) do EMR-7.5.0 e superior.
A tabela a seguir lista as compilações por tipo de instância para o EMR-7.5.0:
EC2 tipos de instância TensorFlow construir M5 e C5 Tensorflow 2.16.1 com otimização do Intel MKL P2, P4D, P5, G4DN, G5, G6 e GR6 Tensorflow 2.16.1 com CUDA 12.3, cuDNN 8.9.7.29 P3, P3DN, G3 e G3S O Tensorflow 2.16.1 com CUDA 12.3, cuDNN 8.9.7.29, NCCL 2.20.3-1 A Nvidia NCCL está disponível somente em instâncias P3. Contrato de licença de usuário final (EULA) — Ao usar componentes da Nvidia no Amazon EMR, você concorda com os termos e condições descritos no EULA do produto. Todos os outros, incluindo Graviton (EMR-7.5.0+) Tensorflow 2.16.1 Um cluster do Amazon EMR para AWS Lake Formation com FGAC (controle de acesso refinado) habilitado agora pode suportar até 256 etapas simultâneas com a seguinte configuração de hdfs-site.xml:
[ { "Classification": "hdfs-site", "Properties": { "dfs.datanode.handler.count": "40", "dfs.datanode.max.transfer.threads": "16384", "dfs.namenode.handler.count": "64", "dfs.replication": "1" } }, { "Classification": "hdfs-env", "Configurations": [ { "Classification": "export", "Properties": { "HADOOP_DATANODE_HEAPSIZE": "5120" } } ], "Properties": {} } ]
-
OsReleaseLabel (Versão Amazon Linux) Versão do kernel do Amazon Linux Data disponível Regiões do compatíveis 2023.6.20250211.0 6.1.127-135.201.amzn2023 26 de fevereiro de 2025 Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia AWS GovCloud ), Ásia Pacífico (Hyderabad), Oriente Médio (EAU), Europa (Espanha), Europa (Zurique), Ásia-Pacífico (Melbourne), Israel (Tel Aviv), Oeste do Canadá (Calgary), Ásia-Pacífico (Malásia), Ásia-Pacífico (Malásia), México (Central) 2023.6.20250123.4 6.1.124-134.200.amzn2023 27 de janeiro de 2025 Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia AWS GovCloud ), Ásia Pacífico (Hyderabad), Oriente Médio (EAU), Europa (Espanha), Europa (Zurique), Ásia-Pacífico (Melbourne), Israel (Tel Aviv), Oeste do Canadá (Calgary) 2023.6.20250115.0 6.1.119-129.201.amzn2023 23 de janeiro de 2025 Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia AWS GovCloud ), Ásia Pacífico (Hyderabad), Oriente Médio (EAU), Europa (Espanha), Europa (Zurique), Ásia-Pacífico (Melbourne), Israel (Tel Aviv), Oeste do Canadá (Calgary) 2023.5.20240916 6.1.109-118.189.amzn2023 6 de setembro de 2024 Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Europa (Estocolmo), Europa (Milão), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Ásia-Pacífico (Osaka), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Jacarta), África (Cidade do Cabo), América do Sul (São Paulo), Oriente Médio (Bahrein), Canadá (Central), ( AWS GovCloud Oeste dos EUA), (Leste dos EUA), China (Pequim), China (Ningxia AWS GovCloud ), Ásia Pacífico (Hyderabad), Oriente Médio (EAU), Europa (Espanha), Europa (Zurique), Ásia-Pacífico (Melbourne), Israel (Tel Aviv), Oeste do Canadá (Calgary)
Versões Java padrão 7.5.0
O Amazon EMR versão 7.5 e superior vem com o Amazon Corretto 17 (construído no OpenJDK) por padrão para aplicativos que suportam o Corretto 17 (JDK 17), com exceção do Apache Livy.
A tabela a seguir mostra as versões padrão do Java para aplicativos no Amazon EMR 7.5.0. Se você quiser alterar a JVM padrão no cluster, siga as instruções em Configurar aplicações para usar uma Máquina Virtual Java específica para cada aplicação executada no cluster. Você só pode usar uma versão de runtime do Java para um cluster. O Amazon EMR não é compatível com a execução de diferentes nós ou aplicações em diferentes versões de runtime no mesmo cluster.
| Aplicação | Versão Java/Amazon Corretto (o padrão é negrito) |
|---|---|
| Delta | 17, 11, 8 |
| Flink | 17, 11, 8 |
| HBase | 17, 11, 8 |
| HCatalog | 17, 11, 8 |
| Hadoop | 17, 11, 8 |
| Hive | 17, 11, 8 |
| Hudi | 17, 11, 8 |
| Iceberg | 17, 11, 8 |
| Livy | 17, 11, 8 |
| Oozie | 17, 11, 8 |
| Phoenix | 17, 11, 8 |
| PrestoDB | 8 |
| Spark | 17, 11, 8 |
| Spark RAPIDS | 17, 11, 8 |
| Tez | 17, 11, 8 |
| Trino | 21, 17 |
| Zeppelin | 17, 11, 8 |
| Pig | 8 |
| Zookeeper | 17, 11, 8 |
Versões de componentes 7.5.0
Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com emr ou aws. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.
Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário CommunityVersion-amzn-EmrVersionEmrVersionmyapp-component com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como 2.2-amzn-2.
| Componente | Versão | Descrição |
|---|---|---|
| adot-java-agent | 1.31.0 | Um Java Agent que coleta métricas de daemons de aplicações. |
| delta | 3.2.1-amzn-0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos |
| emr-amazon-cloudwatch-agent | 1.300032.2-amzn-0 | Um aplicativo que coleta métricas internas em nível de sistema e métricas de aplicativos personalizadas de instâncias da Amazon. EC2 |
| emr-ddb | 5.6.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. |
| emr-goodies | 3.14.0 | Bibliotecas convenientes para o ecossistema do Hadoop. |
| emr-kinesis | 3.18.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. |
| emr-notebook-env | 1.16.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway |
| emr-s3-dist-cp | 2.35.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. |
| emr-s3-select | 2.14.0 | EMR S3Select Connector |
| emr-wal-cli | 1.3.1 | Cli usada para lista/exclusão de emrwal. |
| emrfs | 2.66.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. |
| flink-client | 1.19.1-amzn-1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. |
| flink-jobmanager-config | 1.19.1-amzn-1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager |
| hadoop-client | 3.4.0-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. |
| hadoop-hdfs-datanode | 3.4.0-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. |
| hadoop-hdfs-library | 3.4.0-amzn-1 | O cliente de linha de comando e biblioteca do HDFS |
| hadoop-hdfs-namenode | 3.4.0-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. |
| hadoop-hdfs-journalnode | 3.4.0-amzn-1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. |
| hadoop-httpfs-server | 3.4.0-amzn-1 | O endpoint de HTTP para as operações do HDFS. |
| hadoop-kms-server | 3.4.0-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider |
| hadoop-mapred | 3.4.0-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. |
| hadoop-yarn-nodemanager | 3.4.0-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. |
| hadoop-yarn-resourcemanager | 3.4.0-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. |
| hadoop-yarn-timeline-server | 3.4.0-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. |
| hbase-hmaster | 2.5.10-amzn-0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. |
| hbase-region-server | 2.5.10-amzn-0 | Serviço para atender uma ou mais HBase regiões. |
| hbase-client | 2.5.10-amzn-0 | HBase cliente de linha de comando. |
| hbase-rest-server | 2.5.10-amzn-0 | Serviço que fornece um endpoint RESTful HTTP para HBase. |
| hbase-thrift-server | 2.5.10-amzn-0 | Serviço que fornece um endpoint Thrift para. HBase |
| hbase-operator-tools | 2.5.10-amzn-0 | Ferramenta de reparo para HBase clusters Apache. |
| hcatalog-client | 3.1.3-aman-14 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. |
| hcatalog-server | 3.1.3-aman-14 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. |
| hcatalog-webhcat-server | 3.1.3-aman-14 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. |
| hive-client | 3.1.3-aman-14 | O cliente da linha de comando do Hive. |
| hive-hbase | 3.1.3-aman-14 | Cliente do Hive-hbase. |
| hive-metastore-server | 3.1.3-aman-14 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. |
| hive-server2 | 3.1.3-aman-14 | O serviço que aceita as consultas do Hive como solicitações da web. |
| hudi | 0.15.0-amzn-2 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. |
| hudi-presto | 0.15.0-amzn-2 | Biblioteca de pacotes para executar o Presto com o Hudi. |
| hudi-trino | 0.15.0-amzn-2 | Biblioteca de pacotes para execução do Presto com o Hudi. |
| hudi-spark | 0.15.0-amzn-2 | Biblioteca de pacotes para executar o Spark com o Hudi. |
| hue-server | 4.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop |
| iceberg | 1.6.1-amzn-1 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos |
| jupyterhub | 1.5.0 | Servidor de vários usuários para blocos de anotações Jupyter |
| livy-server | 0.8.0-incubating | Interface REST para interagir com o Apache Spark |
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP |
| mariadb-server | 5.5.68+ | Servidor de banco de dados MariaDB. |
| nvidia-cuda | 12.3.0 | Drivers NVIDIA e toolkit CUDA |
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. |
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. |
| opencv | 4.7.0 | Biblioteca de Visão Computacional de Código Aberto. |
| phoenix-library | 5.2.0 | As bibliotecas do phoenix para servidor e cliente |
| phoenix-connectors | 6.0.0 | Conectores do Apache Phoenix para Spark-3 |
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica |
| presto-coordinator | 0,287-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. |
| presto-worker | 0,287-amzn-0 | O serviço que executa partes de uma consulta. |
| presto-client | 0,287-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. |
| trino-coordinator | 446-aman-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. |
| trino-worker | 446-aman-0 | O serviço que executa partes de uma consulta. |
| trino-client | 446-aman-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. |
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. |
| r | 4.3.2 | O projeto R para computação estatística |
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger |
| spark-client | 3.5.2-amzn-1 | Os clientes da linha de comando do Spark. |
| spark-history-server | 3.5.2-amzn-1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. |
| spark-on-yarn | 3.5.2-amzn-1 | O mecanismo de execução em memória para o YARN. |
| spark-yarn-slave | 3.5.2-amzn-1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. |
| spark-rapids | 24.08.1-amzn-1 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs |
| tensorflow | 2.16.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. |
| tez-on-yarn | 0.10.2-amzn-12 | O aplicativo e as bibliotecas do YARN para Tez. |
| tez-on-worker | 0.10.2-amzn-12 | A aplicação e as bibliotecas do YARN nós de processamento. |
| zeppelin-server | 0.11.1 | O notebook baseado na web que permite um data analytics interativo. |
| zookeeper-server | 3.9.2-amzn-0 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. |
| zookeeper-client | 3.9.2-amzn-0 | ZooKeeper cliente de linha de comando. |
Classificações de configuração 7.5.0
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como hive-site.xml. Para obter mais informações, consulte Configurar aplicações.
Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte Reconfigurar um grupo de instâncias de um cluster em execução.
| Classificações | Descrição | Ações de reconfiguração |
|---|---|---|
capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. |
container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. |
container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. |
core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
docker-conf | Alterar as configurações relacionadas ao docker. | Not available. |
emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. |
flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. |
flink-log4j-session | Alterar as configurações de log4j-yarn-session.properties no Flink para sessão do Kubernetes/Yarn. | Restarts Flink history server. |
flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. |
hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. |
hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. |
hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. |
hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. |
hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. |
hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. |
hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. |
hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. |
hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. |
hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. |
hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. |
hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. |
hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. |
hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. |
hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. |
hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. |
hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. |
hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. |
hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. |
httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. |
hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. |
hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. |
hadoop-kms-java-home | Alterar a página inicial do KMS do Hadoop | Not available. |
hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. |
hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
hudi-env | Altere os valores no ambiente do Hudi. | Not available. |
hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. |
iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. |
delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. |
jupyter-notebook-conf | Alterar os valores no arquivo jupyter_notebook_config.py do Notebook Jupyter. | Not available. |
jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub_config.py do. | Not available. |
jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. |
jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. |
livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. |
livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. |
livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. |
mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. |
oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. |
oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. |
oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. |
phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. |
phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. |
phoenix-log4j2 | Altere os valores no arquivo log4j2.properties do Phoenix. | Restarts Phoenix-QueryServer. |
phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. |
pig-env | Alterar os valores no ambiente do Pig. | Not available. |
pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. |
pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. |
presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) |
presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) |
presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. |
presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) |
presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. |
presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. |
presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. |
presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) |
presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. |
presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. |
presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) |
presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. |
presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. |
presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. |
presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. |
presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. |
presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. |
presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. |
presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. |
presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. |
presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. |
trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) |
trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) |
trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) |
trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) |
trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. |
trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. |
trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. |
trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) |
trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) |
trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) |
trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) |
trino-connector-hudi | Alterar os valores no arquivo hudi.properties do Trino. | Restarts Trino-Server (for Trino) |
trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. |
trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. |
trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. |
trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. |
trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. |
trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. |
trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. |
trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. |
trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. |
trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. |
trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. |
trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. |
ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. |
ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. |
ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. |
ranger-kms-logback | Alterar os valores no arquivo kms-logback.xml do Ranger KMS. | Not available. |
ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. |
spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. |
spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. |
spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. |
spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. |
spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. |
spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. |
tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. |
yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. |
zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. |
zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. |
zookeeper-logback | Altere os valores no ZooKeeper arquivo logback.xml do. | Restarts Zookeeper server. |
emr-metrics | Altere as configurações de métricas do EMR desse nó. | Restarts the CloudWatchAgent service. |
Registro de alterações 7.5.0
| Data | Event | Descrição |
|---|---|---|
| 2024-11-21 | Publicação de documentos | Notas de lançamento do Amazon EMR 7.5.0 publicadas pela primeira vez |
2024-11-21 |
Implantação concluída | Amazon EMR 7.5.0 totalmente implantado em todas as regiões suportadas |
| 2024-11-13 | Lançamento inicial | Amazon EMR 7.5.0 implantado pela primeira vez nas regiões comerciais iniciais |
