Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon EMR nelle versioni EKS 7.1.0
Questa pagina descrive le funzionalità nuove e aggiornate per Amazon EMR specifiche per Amazon EMR on EKS deployment. Per dettagli su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR 7.1.0 in generale, consulta Amazon EMR 7.1.0 nella Amazon EMR Release Guide.
Amazon EMR nelle versioni EKS 7.1
Le seguenti versioni di Amazon EMR 7.1.0 sono disponibili per Amazon EMR suEKS. Seleziona una XXXX versione specifica di emr-7.1.0- per visualizzare ulteriori dettagli, come il relativo tag con l'immagine del contenitore.
Note di rilascio
Note di rilascio per Amazon EMR sulla versione EKS 7.1.0
-
Applicazioni supportate ‐ AWS SDK for Java 2.23.18 and 1.12.656, Apache Spark 3.5.0-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.4.3-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.6.1-amzn-1
-
Componenti supportati:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classificazioni di configurazione supportate
Da usare con StartJobRune CreateManagedEndpointAPIs:
Classificazioni Descrizioni core-siteModifica i valori nel file Hadoop
core-site.xml.emrfs-siteModificare EMRFS le impostazioni.
spark-metricsModifica i valori nel file Spark
metrics.properties.spark-defaultsModifica i valori nel file Spark
spark-defaults.conf.spark-envModifica i valori nell'ambiente Spark.
spark-hive-siteModifica i valori nel file Spark
hive-site.xml.spark-log4j2Modifica i valori nel file Spark
log4j2.properties.emr-job-submitterConfigurazione per il pod del mittente di processi.
Da utilizzare specificamente con CreateManagedEndpointAPIs:
Classificazioni Descrizioni jeg-configModifica i valori nel file
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.
Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un XML file di configurazione per l'applicazione, ad esempio
spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.
Funzionalità significative
Le seguenti funzionalità sono incluse nella versione 7.1.0 di Amazon EMR onEKS.
-
Supporto Apache Livy per Amazon EMR su EKS: con Amazon EMR sulle EKS versioni 7.1.0 e successive, puoi utilizzare Apache Livy su un cluster EKS Amazon per creare un'interfaccia Apache REST Livy per inviare lavori Spark o frammenti di codice Spark. In questo modo puoi recuperare i risultati in modo sincrono e asincrono, pur continuando a sfruttare EMR i vantaggi di AmazonEKS, come il runtime Spark EMR ottimizzato per Amazon, gli endpoint Livy SSL abilitati per Amazon e un'esperienza di configurazione programmatica.
