Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon nelle EMR versioni EKS 6.11.0
Questa pagina descrive le funzionalità nuove e aggiornate per Amazon EMR specifiche per Amazon EMR on EKS deployment. Per dettagli su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR 6.11.0 in generale, consulta Amazon EMR6.11.0 nella Amazon Release Guide. EMR
Amazon EMR nelle versioni EKS 6.11
Le seguenti versioni di Amazon EMR 6.11.0 sono disponibili per Amazon EMR su. EKS Seleziona una XXXX versione emr-6.11.0- specifica per visualizzare ulteriori dettagli, come il relativo tag di immagine del contenitore.
-
emr-6.11.0- spark-rapids-latest
-
emr-6.11.0-spark-rapids-20230509
-
emr-6.11.0-java11-latest
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-latest
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-latest
-
notebook-python/emr-6.11.0-20230509
Note di rilascio
Note di rilascio per Amazon EMR su versione EKS 6.11.0
-
Applicazioni supportate ‐ AWS SDK for Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0 RAPIDS
-
Componenti supportati:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classificazioni di configurazione supportate
StartJobRunDa CreateManagedEndpointAPIsutilizzare con e:
Classificazioni Descrizioni core-siteModifica i valori nel file Hadoop
core-site.xml.emrfs-siteModificare EMRFS le impostazioni.
spark-metricsModifica i valori nel file Spark
metrics.properties.spark-defaultsModifica i valori nel file Spark
spark-defaults.conf.spark-envModifica i valori nell'ambiente Spark.
spark-hive-siteModifica i valori nel file Spark
hive-site.xml.spark-log4jModifica i valori nel file Spark
log4j.properties.Da utilizzare specificamente con CreateManagedEndpointAPIs:
Classificazioni Descrizioni jeg-configModifica i valori nel file
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.
Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un XML file di configurazione per l'applicazione, ad esempio
spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.
Funzionalità significative
Le seguenti funzionalità sono incluse nella versione 6.11 di Amazon EMR onEKS.
-
Amazon EMR sull'immagine di EKS base in Amazon ECR Public Gallery: se utilizzi la funzionalità di immagine personalizzata, la nostra immagine di base fornisce i jar, la configurazione e le librerie essenziali EMR su EKS cui interagire con Amazon. Ora puoi trovare l'immagine di base nella Amazon ECR Public Gallery
. -
Rotazione dei log dei container Spark: Amazon EMR sulla versione EKS 6.11 supporta la rotazione dei log dei container Spark. È possibile abilitare la funzionalità
containerLogRotationConfigurationutilizzando ilMonitoringConfiguration.StartJobRunAPI PuoimaxFilestoKeepconfigurarerotationSizee specificare il numero e la dimensione dei file di log che vuoi che Amazon EKS conservi EMR nei driver Spark e negli executor pod. Per ulteriori informazioni, consulta Uso della rotazione dei log di container Spark. -
Supporto Volcano in Spark operator e spark-submit : EMR Amazon EKS on 6.11 supporta l'esecuzione di lavori Spark con Volcano come scheduler personalizzato Kubernetes in Spark operator e spark-submit. Puoi utilizzare funzionalità come la pianificazione di gruppo, la gestione delle code, l'azione preventiva e la pianificazione della quota equa per ottenere una velocità di trasmissione effettiva di pianificazione elevata e una capacità ottimizzata. Per ulteriori informazioni, consulta Uso di Volcano come pianificatore personalizzato per Apache Spark in Amazon EMR su EKS.
