Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Rilasci 6.11.0 di Amazon EMR su EKS
Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per dettagli su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR 6.11.0 in generale, consulta Amazon EMR 6.11.0 nella Amazon EMR Release Guide.
Rilasci 6.11 di Amazon EMR su EKS
I seguenti rilasci 6.11.0 di Amazon EMR sono disponibili per Amazon EMR su EKS. Seleziona un rilascio emr-6.11.0-XXXX specifico per visualizzare ulteriori dettagli, come il relativo tag dell'immagine di container.
-
emr-6.11.0- spark-rapids-latest
-
emr-6.11.0-spark-rapids-20230509
-
emr-6.11.0-java11-latest
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-latest
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-latest
-
notebook-python/emr-6.11.0-20230509
Note di rilascio
Note di rilascio di Amazon EMR su EKS 6.11.0
-
Applicazioni supportate ‐ AWS SDK for Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark RAPIDS 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
Componenti supportati:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classificazioni di configurazione supportate
StartJobRunDa CreateManagedEndpoint APIsutilizzare con e:
Classificazioni Descrizioni core-siteModifica i valori nel file Hadoop
core-site.xml.emrfs-siteModifica le impostazioni EMRFS.
spark-metricsModifica i valori nel file Spark
metrics.properties.spark-defaultsModifica i valori nel file Spark
spark-defaults.conf.spark-envModifica i valori nell'ambiente Spark.
spark-hive-siteModifica i valori nel file Spark
hive-site.xml.spark-log4jModifica i valori nel file Spark
log4j.properties.Da utilizzare specificamente con CreateManagedEndpoint APIs:
Classificazioni Descrizioni jeg-configModifica i valori nel file
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.
Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio
spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.
Funzionalità significative
Nel rilascio 6.11 di Amazon EMR su EKS sono incluse le funzionalità elencate di seguito.
-
Immagine di base di Amazon EMR su EKS in Amazon ECR Public Gallery: se utilizzi la funzionalità immagine personalizzata, la nostra immagine di base fornisce i jar, la configurazione e le librerie indispensabili per interagire con Amazon EMR su EKS. Ora puoi trovare l'immagine di base in Amazon ECR Public Gallery
. -
Rotazione dei log di container Spark: Amazon EMR su EKS 6.11 supporta la rotazione dei log di container Spark. Puoi abilitare la funzionalità con
containerLogRotationConfigurationall'interno dell'operazioneMonitoringConfigurationdell'APIStartJobRun. Puoi configurare i valori dirotationSizeemaxFilestoKeepper specificare il numero e la dimensione dei file di log che desideri che Amazon EMR su EKS conservi nei pod di driver ed executor Spark. Per ulteriori informazioni, consulta Uso della rotazione dei log di container Spark. -
Supporto di Volcano nell'operatore Spark e in spark-submit: Amazon EMR su EKS 6.11 supporta l'esecuzione di processi Spark con Volcano come pianificatore personalizzato Kubernetes nell'operatore Spark e in spark-submit. Puoi utilizzare funzionalità come la pianificazione di gruppo, la gestione delle code, l'azione preventiva e la pianificazione della quota equa per ottenere una velocità di trasmissione effettiva di pianificazione elevata e una capacità ottimizzata. Per ulteriori informazioni, consulta Uso di Volcano come pianificatore personalizzato per Apache Spark in Amazon EMR su EKS.
