As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR nas versões EKS 7.12.0
Esta página descreve a funcionalidade nova e atualizada do Amazon EMR que é específica para a implantação do Amazon EMR no EKS. Para obter detalhes sobre o Amazon EMR em execução no Amazon EC2 e sobre a versão 7.12.0 do Amazon EMR em geral, consulte o Amazon EMR 7.12.0 no Guia de lançamento do Amazon EMR.
Amazon EMR nas versões do EKS 7.12
As seguintes versões do Amazon EMR 7.12.0 estão disponíveis para o Amazon EMR no EKS. Selecione uma versão específica do EMR-7.12.0-xxxx para ver mais detalhes, como a tag de imagem do contêiner relacionada.
Notas da versão
Notas de lançamento do Amazon EMR no EKS 7.12.0:
-
Aplicações compatíveis: AWS SDK para Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-1, Apache Hudi 1.0.2-amzn-1, Apache Iceberg 1.10.0-amzn-0, Delta 3.3.2-amzn-1, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-6
-
Componentes com suporte ‐
emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classificações de configuração com suporte
Para uso com CreateManagedEndpoint APIs StartJobRun e:
Classificações Descrições core-siteAltera os valores no arquivo
core-site.xmldo Hadoop.emrfs-siteAlterar as configurações do EMRFS.
spark-metricsAltera os valores no arquivo
metrics.propertiesdo Spark.spark-defaultsAltera os valores no arquivo
spark-defaults.confdo Spark.spark-envAlterar os valores no ambiente do Spark.
spark-hive-siteAltera os valores no arquivo
hive-site.xmldo Spark.spark-log4j2Altera os valores no arquivo
log4j2.propertiesdo Spark.emr-job-submitterConfiguração para o pod de envio de trabalho.
Para uso específico com CreateManagedEndpoint APIs:
Classificações Descrições jeg-configAltera os valores no arquivo
jupyter_enterprise_gateway_config.pydo Jupyter Enterprise Gateway.jupyter-kernel-overridesAltera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como
spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.
Alterações e recursos
Os seguintes recursos estão incluídos na versão 7.12.0 do Amazon EMR no EKS:
-
Visualizações materializadas do Iceberg — A partir do EMR 7.12.0, o EMR Spark suporta a criação e o gerenciamento de visualizações materializadas (MV) do Iceberg.
-
Hudi Full Table Access — A partir do EMR 7.12.0, o EMR agora oferece suporte ao controle de acesso total à tabela (FTA) para o Apache Hudi no Apache Spark com base em suas políticas definidas no Lake Formation. Esse recurso permite operações de leitura e gravação de seus trabalhos do Amazon EMR Spark em tabelas registradas do Lake Formation quando a função de trabalho tem acesso total à tabela.
-
Atualização da versão Iceberg — O EMR 7.12.0 oferece suporte ao Apache Iceberg versão 1.10.
-
Registro de cargas de trabalho interativas do Livy — A partir do EMR 7.12.0, o EMR oferece suporte ao registro extensivo dos principais componentes do sistema para melhorar a solução de problemas de falhas nas tarefas do Livy Spark. Esse recurso fornecerá ao serviço EMR acesso a Livy e SecretAgent registros adicionais para simplificar a solução de problemas.
