Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
AWS runtime per Apache Spark (emr-spark-8.1.0) su EKS
Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per informazioni dettagliate su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR Spark 8.1.0 in generale, consulta AWS runtime for Apache Spark (emr-spark-8.1.0) nella Amazon EMR Release Guide.
AWS runtime per Apache Spark (emr-spark-8.1.0) su EKS
I seguenti tag di immagine emr-spark-8.1.0 sono disponibili per il runtime di Apache Spark su EKS. AWS
Note di rilascio
Note di rilascio per il AWS runtime di Apache Spark (emr-spark-8.1.0) su EKS:
-
Applicazioni supportate ‐ AWS SDK for Java 2.x 2.44.5, Apache Spark 4.1.1-amzn-0, Apache Hudi 1.1.1-amzn-0, Apache Iceberg 1.11.0-amzn-0, Delta Lake 4.2.0-amzn-0, Apache Spark RAPIDS 26.04.2-amzn-0
-
Componenti supportati ‐
emr-ddb,,,,,.emr-goodieshadoop-clienthudihudi-sparkicebergspark-kubernetes -
Classificazioni di configurazione supportate
Da utilizzare con StartJobRun e CreateManagedEndpoint API:
Classificazioni Descrizioni core-siteModifica i valori nel file Hadoop
core-site.xml.spark-metricsModifica i valori nel file Spark
metrics.properties.spark-defaultsModifica i valori nel file Spark
spark-defaults.conf.spark-envModifica i valori nell'ambiente Spark.
spark-hive-siteModifica i valori nel file Spark
hive-site.xml.spark-log4j2Modifica i valori nel file Spark
log4j2.properties.emr-job-submitterConfigurazione per il pod del mittente di processi.
Da utilizzare specificamente con le CreateManagedEndpoint API:
Classificazioni Descrizioni jeg-configModifica i valori nel file
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.
Le classificazioni di configurazione consentono di personalizzare le applicazioni. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.
Modifiche e funzionalità
Le seguenti funzionalità sono incluse nella versione di AWS runtime emr-spark-8.1.0 per Apache Spark su EKS:
-
Spark Connect su Amazon EMR su EKS: i cluster Amazon EMR su EKS che eseguono emr-spark-8.1.0 ora supportano gli endpoint Spark Connect con autenticazione basata su token. Per la configurazione e la configurazione, consulta Eseguire sessioni interattive con Amazon EMR su EKS tramite Spark Connect nella Amazon EMR on EKS Development Guide.
-
Amazon EMR on EKS job runner pod graceful termination: la
jobsubmitter.gracefulTerminationconfigurazione di Amazon EMR on EKS è abilitata di default per emr-spark-8.1.0 e versioni successive. Per l'installazione e la configurazione, consulta Using job submitter classification nella Amazon EMR on EKS Development Guide.
Problemi risolti
-
Stabilità degli endpoint Livy dopo la rotazione dei token Kubernetes: è stato risolto un problema per cui gli endpoint Livy gestiti da Amazon EMR su EKS potevano diventare inutilizzabili dopo la rotazione del token dell'account di servizio Kubernetes, che in precedenza richiedeva il riavvio del pod per il ripristino. Livy ora aggiorna automaticamente le proprie credenziali quando il token dell'account di servizio previsto viene ruotato.
-
Applicazioni Spark Operator corrette sui cluster IPv6-only EKS: le applicazioni Spark Operator sui cluster EKS non vengono più inviate a causa di un IPv6-only URL del server API Kubernetes non valido per emr-spark-8.1.0 e versioni successive. Per l'installazione e la configurazione, consulta Running EMR on EKS su cluster IPv6 nella Amazon EMR on EKS Development Guide.
