As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR nas versões EKS 7.2.0
Esta página descreve a funcionalidade nova e atualizada da Amazon EMR que é específica para a Amazon EMR em EKS implantação. Para obter detalhes sobre a Amazon em EMR execução na Amazon EC2 e sobre o lançamento do Amazon EMR 7.2.0 em geral, consulte Amazon EMR 7.2.0 no Guia de EMRlançamento da Amazon.
Amazon EMR em versões EKS 7.2
As seguintes versões do Amazon EMR 7.2.0 estão disponíveis para a Amazon EMR em. EKS Selecione uma XXXX versão específica do emr-7.2.0- para ver mais detalhes, como a tag de imagem do contêiner relacionada.
Notas de atualização
Notas de lançamento da Amazon EMR na versão EKS 7.2.0
-
Aplicativos compatíveis ‐ AWS SDK for Java 2.23.18 and 1.12.705, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.5.0-amzn-0, Delta 3.1.0, Apache Spark RAPIDS 24.02.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.8.0-amzn-1
-
Componentes com suporte:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,icebergespark-kubernetes. -
Classificações de configuração com suporte
Para uso com StartJobRune CreateManagedEndpointAPIs:
Classificações Descrições core-siteAltera os valores no arquivo
core-site.xmldo Hadoop.emrfs-siteAltere EMRFS as configurações.
spark-metricsAltera os valores no arquivo
metrics.propertiesdo Spark.spark-defaultsAltera os valores no arquivo
spark-defaults.confdo Spark.spark-envAlterar os valores no ambiente do Spark.
spark-hive-siteAltera os valores no arquivo
hive-site.xmldo Spark.spark-log4j2Altera os valores no arquivo
log4j2.propertiesdo Spark.emr-job-submitterConfiguração para o pod de envio de trabalho.
Para uso específico com CreateManagedEndpointAPIs:
Classificações Descrições jeg-configAltera os valores no arquivo
jupyter_enterprise_gateway_config.pydo Jupyter Enterprise Gateway.jupyter-kernel-overridesAltera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, como
spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.
Recursos notáveis
Os seguintes recursos estão incluídos na versão 7.2.0 da Amazon EMR onEKS.
-
Escalador automático para atualizações do Flink: a versão 7.2.0 usa a configuração de código aberto
job.autoscaler.restart.time-tracking.enabledpara permitir a estimativa do tempo de redimensionamento, para que você não precise mais atribuir valores empíricos manualmente ao reiniciar. Se você executar a versão 7.1.0 ou inferior, ainda poderá usar o EMR escalonamento automático da Amazon. -
Integração do Apache Hudi Apache Flink na EMR Amazon EKS on — Esta versão adiciona uma integração entre o Apache Hudi e o Apache Flink, para que você possa usar o operador Flink Kubernetes para executar trabalhos do Hudi. O Hudi permite usar operações em nível de registro que podem simplificar o gerenciamento de dados e o desenvolvimento do pipeline de dados.
-
Integração do Amazon S3 Express One Zone com o Amazon EMR on EKS — Com a versão 7.2.0 e superior, você pode fazer upload de dados para a S3 Express One Zone com a Amazon ativada. EMR EKS O S3 Express One Zone é uma classe de armazenamento de zona única e alta performance do Amazon S3 que oferece acesso consistente a dados de milissegundos de um dígito para a maioria das aplicações sensíveis à latência. Na hora da execução, o S3 Express One Zone oferece o armazenamento de objetos na nuvem com a menor latência e a maior performance do Amazon S3.
-
Support para configurações padrão no operador Spark — O operador Spark na Amazon EKS agora oferece suporte às mesmas configurações padrão do modelo de início de execução de tarefas na Amazon EMR on EKS para 7.2.0 e versões posteriores. Isso significa que recursos como o Amazon S3 EMRFS não exigem mais configurações manuais no arquivo yaml.
