Versões 6.7.0 do Amazon EMR no EKS - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Versões 6.7.0 do Amazon EMR no EKS

As versões 6.7.0 do Amazon EMR apresentadas a seguir estão disponíveis para o Amazon EMR no EKS. Selecione uma versão específica do emr-6.7.0-XXXX para visualizar mais detalhes, como a etiqueta de imagem do contêiner relacionada.

Notas da versão 6.7.0 do Amazon EMR

  • Aplicações com suporte: Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0 e Iceberg 0.13.1.

  • Componentes com suporte: aws-hm-client (conector do Glue), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb e hudi-spark.

  • Com a atualização para o JEG 2.6, o gerenciamento do kernel passou a ser assíncrono, o que significa que o JEG não bloqueia transações quando a inicialização do kernel está em andamento. Isso melhora muito a experiência do usuário ao fornecer o seguinte:

    • capacidade de executar comandos em cadernos que estão em execução no momento quando outras inicializações de kernel estão em andamento;

    • capacidade de iniciar vários kernels simultaneamente sem afetar os kernels que já estão em execução.

  • Classificações de configuração com suporte:

    Classificações Descrições

    core-site

    Altera os valores no arquivo core-site.xml do Hadoop.

    emrfs-site

    Alterar as configurações do EMRFS.

    spark-metrics

    Altera os valores no arquivo metrics.properties do Spark.

    spark-defaults

    Altera os valores no arquivo spark-defaults.conf do Spark.

    spark-env

    Alterar os valores no ambiente do Spark.

    spark-hive-site

    Altera os valores no arquivo hive-site.xml do Spark.

    spark-log4j

    Altera os valores no arquivo log4j.properties do Spark.

    As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como spark-hive-site.xml. Para obter mais informações, consulte Configuração de aplicações.

Problemas resolvidos

  • A versão 6.7 do Amazon EMR no EKS corrige um problema na versão 6.6 relacionado ao uso da funcionalidade de modelos de pod do Apache Spark com endpoints interativos. O problema estava presente nas versões 6.4, 6.5 e 6.6 do Amazon EMR no EKS. No momento, você pode usar modelos de pod para definir como os pods de driver e de executores do Spark são iniciados ao usar endpoints interativos para executar analytics interativos.

  • Nas versões anteriores do Amazon EMR no EKS, o Jupyter Enterprise Gateway bloqueava transações quando a inicialização do kernel estava em andamento, e isso impedia a execução de sessões de caderno que estavam em execução no momento. Agora, é possível executar comandos em cadernos em execução quando outras inicializações de kernel estiverem em andamento. Você também pode iniciar vários kernels simultaneamente sem o risco de perder a conectividade com os kernels que já estão em execução.