As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR nas versões EKS 6.11.0
Esta página descreve a funcionalidade nova e atualizada da Amazon EMR que é específica para a Amazon EMR em EKS implantação. Para obter detalhes sobre a Amazon em EMR execução na Amazon EC2 e sobre a versão EMR 6.11.0 da Amazon em geral, consulte Amazon EMR 6.11.0 no Guia de lançamento da Amazon. EMR
Amazon EMR nas versões EKS 6.11
As seguintes versões do Amazon EMR 6.11.0 estão disponíveis para a Amazon EMR em. EKS Selecione uma XXXX versão específica do emr-6.11.0- para ver mais detalhes, como a tag de imagem do contêiner relacionada.
-
emr-6.11.0- spark-rapids-latest
-
emr-6.11.0-spark-rapids-20230509
-
emr-6.11.0-java11-latest
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-latest
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-latest
-
notebook-python/emr-6.11.0-20230509
Notas de atualização
Notas de lançamento da Amazon EMR em EKS 6.11.0
-
Aplicativos compatíveis ‐ AWS SDK for Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0 RAPIDS
-
Componentes com suporte:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,icebergespark-kubernetes. -
Classificações de configuração com suporte
Para uso com StartJobRune CreateManagedEndpointAPIs:
Classificações Descrições core-siteAltera os valores no arquivo
core-site.xmldo Hadoop.emrfs-siteAltere EMRFS as configurações.
spark-metricsAltera os valores no arquivo
metrics.propertiesdo Spark.spark-defaultsAltera os valores no arquivo
spark-defaults.confdo Spark.spark-envAlterar os valores no ambiente do Spark.
spark-hive-siteAltera os valores no arquivo
hive-site.xmldo Spark.spark-log4jAltera os valores no arquivo
log4j.propertiesdo Spark.Para uso específico com CreateManagedEndpointAPIs:
Classificações Descrições jeg-configAltera os valores no arquivo
jupyter_enterprise_gateway_config.pydo Jupyter Enterprise Gateway.jupyter-kernel-overridesAltera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, como
spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.
Recursos notáveis
Os seguintes recursos estão incluídos na versão 6.11 da Amazon EMR onEKS.
-
Imagem EKS básica da Amazon EMR na Amazon ECR Public Gallery — Se você usa o recurso de imagem personalizada, nossa imagem base fornece os jars, a configuração e as bibliotecas essenciais para interagir com a EMR AmazonEKS. Agora você pode encontrar a imagem base na Amazon ECR Public Gallery
. -
Rotação de registros de contêineres do Spark — A Amazon EMR na EKS versão 6.11 oferece suporte à rotação de registros de contêineres do Spark. Você pode habilitar o recurso
containerLogRotationConfigurationdentro daMonitoringConfigurationoperação doStartJobRunAPI. Você pode configurar orotationSizeemaxFilestoKeeppara especificar o número e o tamanho dos arquivos de log que você deseja que EKS a Amazon mantenha EMR nos pods do driver e do executor do Spark. Para obter mais informações, consulte Uso da alternância de log do contêiner do Spark. -
Suporte ao Volcano no Spark operator e no spark-submit — A EMR Amazon EKS na versão 6.11 oferece suporte à execução de trabalhos do Spark com o Volcano como programador personalizado do Kubernetes no Spark operator e no spark-submit. É possível usar recursos como o agendamento coletivo, o gerenciamento de filas, a preempção e a programação de compartilhamento equitativo para obter alto throughput de programação e capacidade otimizada. Para obter mais informações, consulte Uso do Volcano como um programador personalizado para Apache Spark no Amazon EMR no EKS.
