Rilasci 6.7.0 di Amazon EMR su EKS - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Rilasci 6.7.0 di Amazon EMR su EKS

I seguenti rilasci 6.7.0 di Amazon EMR sono disponibili per Amazon EMR su EKS. Seleziona un rilascio emr-6.7.0-XXXX specifico per visualizzare ulteriori dettagli, come il relativo tag dell'immagine di container.

Note di rilascio di Amazon EMR 6.7.0

  • Applicazioni supportate: Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.

  • Componenti supportati: aws-hm-client (connettore Glue), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb, hudi-spark.

  • Con l'aggiornamento a JEG 2.6, la gestione del kernel è ora asincrona, il che significa che JEG non blocca le transazioni quando è in corso un avvio del kernel. Ciò migliora notevolmente l'esperienza dell'utente fornendo quanto segue:

    • capacità di eseguire comandi nei notebook attualmente in esecuzione quando sono in corso altri avvii del kernel

    • capacità di avviare più kernel contemporaneamente senza influire sui kernel già in esecuzione

  • Classificazioni di configurazione supportate:

    Classificazioni Descrizioni

    core-site

    Modifica i valori nel file core-site.xml Hadoop.

    emrfs-site

    Modifica le impostazioni EMRFS.

    spark-metrics

    Modifica i valori nel file metrics.properties Spark.

    spark-defaults

    Modifica i valori nel file spark-defaults.conf Spark.

    spark-env

    Modifica i valori nell'ambiente Spark.

    spark-hive-site

    Modifica i valori nel file hive-site.xml Spark.

    spark-log4j

    Modifica i valori nel file log4j.properties Spark.

    Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio spark-hive-site.xml. Per ulteriori informazioni, consulta Configurazione delle applicazioni.

Problemi risolti

  • Amazon EMR su EKS 6.7 risolve un problema nella versione 6.6 legato all'utilizzo della funzionalità dei modelli di pod di Apache Spark con gli endpoint interattivi. Il problema era presente nei rilasci 6.4, 6.5 e 6.6 di Amazon EMR su EKS. Ora puoi utilizzare i modelli di pod per definire la modalità di avvio dei pod di driver ed executor Spark quando utilizzi gli endpoint interattivi per eseguire analisi interattive.

  • Nei rilasci precedenti di Amazon EMR su EKS, Jupyter Enterprise Gateway bloccava le transazioni quando l'avvio del kernel era in corso e ciò impediva l'esecuzione delle sessioni del notebook attualmente in esecuzione. Ora è possibile eseguire comandi nei notebook attualmente in esecuzione quando sono in corso altri avvii del kernel. Inoltre, è possibile avviare più kernel contemporaneamente senza il rischio di perdere la connettività con i kernel già in esecuzione.