Utilisation de Java 17 avec Amazon EMR Serverless - Amazon EMR
JAVA_HOMEspark-defaults

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de Java 17 avec Amazon EMR Serverless

Avec les EMR versions 6.11.0 et supérieures d'Amazon, vous pouvez configurer des tâches Spark EMR sans serveur pour utiliser le runtime Java 17 pour la machine virtuelle Java (). JVM Utilisez l'une des méthodes suivantes pour configurer Spark avec Java 17.

JAVA_HOME

Pour remplacer le JVM paramètre de EMR Serverless 6.11.0 et versions ultérieures, vous pouvez le fournir à ses spark.emr-serverless.driverEnv classifications et à celles de l'JAVA_HOMEenvironnement. spark.executorEnv

x86_64

Définissez les propriétés requises pour spécifier Java 17 comme JAVA_HOME configuration pour le pilote et les exécuteurs Spark :

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/ 
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
arm_64

Définissez les propriétés requises pour spécifier Java 17 comme JAVA_HOME configuration pour le pilote et les exécuteurs Spark :

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/

spark-defaults

Vous pouvez également spécifier Java 17 dans la spark-defaults classification pour remplacer le JVM paramètre de EMR Serverless 6.11.0 et versions ultérieures.

x86_64

Spécifiez Java 17 dans la spark-defaults classification :

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/" 
            }
         }
      ]
}
arm_64

Spécifiez Java 17 dans la spark-defaults classification :

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/" 
            }
         }
      ]
}