Uso do Java 17 com o Amazon EMR Sem Servidor
Com as versões 6.11.0 e posteriores do Amazon EMR, é possível configurar trabalhos do Spark no EMR Sem Servidor para usar o runtime do Java 17 na Java Virtual Machine (JVM). Use um dos métodos a seguir para configurar o Spark com Java 17.
JAVA_HOME
Para substituir a configuração da JVM para o EMR Sem Servidor 6.11.0 e superior, você pode fornecer a configuração JAVA_HOME para as classificações de ambiente spark.emr-serverless.driverEnv e spark.executorEnv.
- x86_64
-
Defina as propriedades necessárias para especificar o Java 17 como a configuração JAVA_HOME para o driver e os executores do Spark:
--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
- arm_64
-
Defina as propriedades necessárias para especificar o Java 17 como a configuração JAVA_HOME para o driver e os executores do Spark:
--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
spark-defaults
Como alternativa, você pode especificar o Java 17 na classificação spark-defaults para substituir a configuração da JVM no EMR Sem Servidor 6.11.0 e superior.
- x86_64
-
Especifique Java 17 na classificação spark-defaults:
{
"applicationConfiguration": [
{
"classification": "spark-defaults",
"properties": {
"spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/"
}
}
]
}
- arm_64
-
Especifique Java 17 na classificação spark-defaults:
{
"applicationConfiguration": [
{
"classification": "spark-defaults",
"properties": {
"spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/"
}
}
]
}
