Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon EMR en las EKS versiones 7.2.0
En esta página se describen las funciones nuevas y actualizadas de Amazon EMR que son específicas de Amazon EMR en el momento de la EKS implementación. Para obtener más información sobre Amazon EMR que se ejecuta en Amazon EC2 y sobre la versión EMR 7.2.0 de Amazon en general, consulta Amazon EMR 7.2.0 en la Guía de EMRversiones de Amazon.
Amazon EMR en las versiones EKS 7.2
Las siguientes versiones de Amazon EMR 7.2.0 están disponibles para Amazon EMR enEKS. Selecciona una XXXX versión específica de emr-7.2.0- para ver más detalles, como la etiqueta de imagen del contenedor correspondiente.
Notas de la versión
Notas de lanzamiento de Amazon EMR en la versión EKS 7.2.0
-
Aplicaciones compatibles ‐ AWS SDK for Java 2.23.18 and 1.12.705, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.5.0-amzn-0, Delta 3.1.0, Apache Spark RAPIDS 24.02.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.8.0-amzn-1
-
Componentes compatibles:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Clasificaciones de configuración compatibles
Para usar con StartJobRuny CreateManagedEndpointAPIs:
Clasificaciones Descripciones core-siteCambia los valores en el archivo de Hadoop
core-site.xml.emrfs-siteCambiar EMRFS la configuración.
spark-metricsCambia los valores en el archivo de Spark
metrics.properties.spark-defaultsCambia los valores en el archivo de Spark
spark-defaults.conf.spark-envCambiar los valores en el entorno de Spark.
spark-hive-siteCambia los valores en el archivo de Spark
hive-site.xml.spark-log4j2Cambia los valores en el archivo de Spark
log4j2.properties.emr-job-submitterConfiguración del pod de remitente de trabajos.
Para usar específicamente con CreateManagedEndpointAPIs:
Clasificaciones Descripciones jeg-configCambia los valores en el archivo
jupyter_enterprise_gateway_config.pyde Jupyter Enterprise Gateway.jupyter-kernel-overridesCambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.
Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un XML archivo de configuración de la aplicación, por ejemplo
spark-hive-site.xml. Para obtener más información, consulte Configuración de aplicaciones.
Características notables
Las siguientes funciones se incluyen en la versión 7.2.0 de Amazon EMR en adelanteEKS.
-
Actualizaciones del escalador automático para Flink: la versión 7.2.0 utiliza la configuración de código abierto
job.autoscaler.restart.time-tracking.enabledpara permitir el cálculo del tiempo de reescalado, por lo que ya no es necesario asignar manualmente valores empíricos al tiempo de reinicio. Si utilizas la versión 7.1.0 o una versión anterior, puedes seguir utilizando el escalado EMR automático de Amazon. -
Integración con Apache Hudi Apache Flink EMR en Amazon on EKS: esta versión añade una integración entre Apache Hudi y Apache Flink, de modo que puede utilizar el operador Flink Kubernetes para ejecutar tareas de Hudi. Hudi le permite utilizar operaciones a nivel de registro que puede utilizar para simplificar la administración de datos y el desarrollo de la canalización de datos.
-
Integración de Amazon S3 Express One Zone con Amazon EMR on EKS: con la versión 7.2.0 y versiones posteriores, puede cargar datos en S3 Express One Zone con Amazon EMR activadoEKS. S3 Express One Zone es una clase de almacenamiento de Amazon S3 en zona única de alto rendimiento que ofrece acceso constante a los datos en milisegundos de un solo dígito para los datos a los que accede para las aplicaciones más sensibles a la latencia. En el momento de su lanzamiento, S3 Express One Zone ofrece el almacenamiento de objetos en la nube con la latencia más baja y el rendimiento más alto de Amazon S3.
-
Soporte para las configuraciones predeterminadas en el operador Spark: el operador Spark en Amazon EKS ahora admite las mismas configuraciones predeterminadas que el modelo de inicio de la ejecución de tareas en Amazon EMR on EKS para la versión 7.2.0 y versiones posteriores. Esto significa que funciones como Amazon S3 ya EMRFS no requieren configuraciones manuales en el archivo yaml.
