Versiones 7.3.0 de Amazon EMR en EKS
Esta página describe la funcionalidad nueva y actualizada de Amazon EMR que es específica de la implementación de Amazon EMR en EKS. Para obtener más información sobre la ejecución de Amazon EMR en Amazon EC2 y sobre la versión 7.3.0 de Amazon EMR en general, consulte Amazon EMR 7.3.0 en la Guía de versiones de Amazon EMR.
Versiones 7.3 de Amazon EMR en EKS
Las siguientes versiones 7.3.0 de Amazon EMR están disponibles para Amazon EMR en EKS. Seleccione una versión específica de emr-7.3.0-XXXX para ver más detalles, como la etiqueta de imagen de contenedor relacionada.
Notas de la versión
Notas de la versión 7.3.0 de Amazon EMR en EKS
-
Aplicaciones compatibles: AWS SDK for Java 2.27.12 and 1.12.747, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.15.0-amzn-0, Apache Iceberg 1.5.2-amzn-0, Delta 3.2.0-amzn-0, Apache Spark RAPIDS 24.06.1-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-2, Flink Operator 1.9.0-amzn-0
-
Componentes compatibles:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Clasificaciones de configuración compatibles
Para usar con las API StartJobRun y CreateManagedEndpoint:
Clasificaciones Descripciones core-siteCambia los valores en el archivo de Hadoop
core-site.xml.emrfs-siteCambiar la configuración de EMRFS.
spark-metricsCambia los valores en el archivo de Spark
metrics.properties.spark-defaultsCambia los valores en el archivo de Spark
spark-defaults.conf.spark-envCambiar los valores en el entorno de Spark.
spark-hive-siteCambia los valores en el archivo de Spark
hive-site.xml.spark-log4j2Cambia los valores en el archivo de Spark
log4j2.properties.emr-job-submitterConfiguración del pod de remitente de trabajos.
Para usar específicamente con las API CreateManagedEndpoint:
Clasificaciones Descripciones jeg-configCambia los valores en el archivo
jupyter_enterprise_gateway_config.pyde Jupyter Enterprise Gateway.jupyter-kernel-overridesCambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.
Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un archivo XML de configuración para la aplicación como, por ejemplo,
spark-hive-site.xml. Para obtener más información, consulte Configurar aplicaciones.
Características notables
Las siguientes características se incluyen en la versión 7.3.0 de Amazon EMR en EKS.
-
Actualizaciones de aplicaciones: Amazon EMR en EKS ahora incluye Flink Operator 1.9.0. Además de otras funciones, el Flink Kubernetes ahora le permite establecer las cuotas de CPU y memoria para el escalador automático.
-
Soporte de Apache Iceberg para Apache Flink: Apache Iceberg es un formato de código abierto de alto rendimiento para tablas de análisis de gran tamaño. A partir de Amazon EMR 7.3.0, puede usar tablas de Apache Iceberg al ejecutar Apache Fink en Amazon EMR en EKS. Para obtener más información, consulte Uso de Apache Iceberg con Amazon EMR en EKS del Amazon EMR en EKS.
-
Compatibilidad de Delta Lake para Apache Flink: Delta Lake es un marco de capas de almacenamiento para arquitecturas Lakehouse que se suelen basar en Amazon S3. Con Amazon EMR 7.3.0 y versiones posteriores, puede usar tablas Delta al ejecutar Apache Fink en Amazon EMR en EKS. Para obtener más información, consulte Uso de Delta Lake con Amazon EMR en EKS.
Cambios
Los siguientes cambios se incluyen en la versión 7.3.0 de Amazon EMR en EKS.
-
Con Amazon EMR en EKS 7.3.0 y versiones posteriores, Apache Flink ahora usa el tiempo de ejecución Java 17 de forma predeterminada.
