As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR nas versões EKS 7.0.0
Esta página descreve a funcionalidade nova e atualizada da Amazon EMR que é específica para a Amazon EMR em EKS implantação. Para obter detalhes sobre a Amazon em EMR execução na Amazon EC2 e sobre a versão do Amazon EMR 7.0.0 em geral, consulte Amazon EMR 7.0.0 no Guia de EMRlançamento da Amazon.
Amazon EMR nas versões EKS 7.0
As seguintes versões do Amazon EMR 7.0.0 estão disponíveis para a Amazon EMR em. EKS Selecione uma XXXX versão específica do emr-7.0.0- para ver mais detalhes, como a tag de imagem do contêiner relacionada.
Notas de atualização
Notas de lançamento da Amazon EMR em EKS 7.0.0
-
Aplicativos compatíveis ‐ AWS SDK for Java 2.20.160-amzn-0 and 1.12.595, Apache Spark 3.5.0-amzn-0, Apache Flink 1.18.0-amzn-0, Flink Operator 1.6.1, Apache Hudi 0.14.0-amzn-1, Apache Iceberg 1.4.2-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
Componentes com suporte:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,icebergespark-kubernetes. -
Classificações de configuração com suporte
Para uso com StartJobRune CreateManagedEndpointAPIs:
Classificações Descrições core-siteAltera os valores no arquivo
core-site.xmldo Hadoop.emrfs-siteAltere EMRFS as configurações.
spark-metricsAltera os valores no arquivo
metrics.propertiesdo Spark.spark-defaultsAltera os valores no arquivo
spark-defaults.confdo Spark.spark-envAlterar os valores no ambiente do Spark.
spark-hive-siteAltera os valores no arquivo
hive-site.xmldo Spark.spark-log4jAltera os valores no arquivo
log4j2.propertiesdo Spark.emr-job-submitterConfiguração para o pod de envio de trabalho.
Para uso específico com CreateManagedEndpointAPIs:
Classificações Descrições jeg-configAltera os valores no arquivo
jupyter_enterprise_gateway_config.pydo Jupyter Enterprise Gateway.jupyter-kernel-overridesAltera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, como
spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.
Recursos notáveis
Os seguintes recursos estão incluídos na versão 7.0 da Amazon EMR onEKS.
-
Ajuste automático de parâmetros do escalador automático do Flink: os parâmetros padrão que o escalador automático do Flink usa nos cálculos de ajuste de escala podem não ser o valor ideal para um determinado trabalho. A Amazon EMR na EKS versão 7.0.0 usa tendências históricas de métricas específicas capturadas para calcular o parâmetro ideal personalizado para o trabalho.
Alterações
As seguintes alterações estão incluídas na versão 7.0 da Amazon EMR onEKS.
-
Amazon Linux 2023 — Com a Amazon EMR na EKS versão 7.0.0 e superior, todas as imagens de contêiner são baseadas no Amazon Linux 2023.
-
O Spark usa o Java 17 como tempo de execução padrão — o Amazon EMR na EKS versão 7.0.0 O Spark usa o Java 17 como tempo de execução padrão. Se precisar, você pode alternar para usar o Java 8 ou o Java 11 com o rótulo de versão correspondente, conforme fornecido na lista Amazon EMR nas versões EKS 7.0.
