Amazon EMR Serverless での Java 17 の使用
Amazon EMR リリース 6.11.0 以降では、Java 仮想マシン (JVM) で Java 17 ランタイムを使用するように EMR Serverless Spark ジョブを設定できます。次のいずれかの方法を使用して、Java 17 で Spark を設定します。
JAVA_HOME
EMR Serverless 6.11.0 以降の JVM 設定を上書きするには、spark.emr-serverless.driverEnv および spark.executorEnv の環境分類に JAVA_HOME 設定を指定できます。
- x86_64
-
必要なプロパティを設定して、Spark ドライバーとエグゼキュターの JAVA_HOME 設定として Java 17 を指定します。
--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
- arm_64
-
必要なプロパティを設定して、Spark ドライバーとエグゼキュターの JAVA_HOME 設定として Java 17 を指定します。
--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
spark-defaults
また、spark-defaults 分類で Java 17 を指定して、EMR Serverless 6.11.0 以降の JVM 設定を上書きすることもできます。
- x86_64
-
spark-defaults 分類で Java 17 を指定します。
{
"applicationConfiguration": [
{
"classification": "spark-defaults",
"properties": {
"spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/"
}
}
]
}
- arm_64
-
spark-defaults 分類で Java 17 を指定します。
{
"applicationConfiguration": [
{
"classification": "spark-defaults",
"properties": {
"spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/"
}
}
]
}
