Uso de Java 17 con Amazon EMR sin servidor
Con las versiones 6.11.0 y posteriores de Amazon EMR, puede configurar trabajos de EMR Spark sin servidor para utilizar el tiempo de ejecución de Java 17 para la máquina virtual Java (JVM). Utilice uno de los siguientes métodos para configurar Spark con Java 17.
JAVA_HOME
Para anular la configuración de JVM para EMR Serverless 6.11.0 y versiones posteriores, puede incluir la configuración JAVA_HOME en sus clasificaciones de entorno spark.emr-serverless.driverEnv y spark.executorEnv.
- x86_64
-
Establezca las propiedades necesarias para especificar Java 17 como configuración JAVA_HOME para el controlador y los ejecutores de Spark:
--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
- arm_64
-
Defina las propiedades necesarias para especificar Java 17 como configuración JAVA_HOME para el controlador y los ejecutores de Spark:
--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
spark-defaults
Como alternativa, puede especificar Java 17 en la clasificación spark-defaults para anular la configuración de JVM para EMR sin servidor en la versión 6.11.0 y versiones posteriores.
- x86_64
-
Especifique Java 17 en la clasificación spark-defaults:
{
"applicationConfiguration": [
{
"classification": "spark-defaults",
"properties": {
"spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/"
}
}
]
}
- arm_64
-
Especifique Java 17 en la clasificación spark-defaults:
{
"applicationConfiguration": [
{
"classification": "spark-defaults",
"properties": {
"spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/"
}
}
]
}
