Amazon EMR Serverless에서 Java 17 사용 - Amazon EMR
JAVA_HOMEspark-defaults

Amazon EMR Serverless에서 Java 17 사용

Amazon EMR 릴리스 6.11.0 이상을 사용하면 Java Virtual Machine(JVM)에 대해 Java 17 런타임을 사용하도록 EMR Serverless Spark 작업을 구성할 수 있습니다. 다음 방법 중 하나를 사용하여 Java 17로 Spark를 구성합니다.

JAVA_HOME

EMR Serverless 6.11.0 이상의 JVM 설정을 재정의하기 위해 spark.emr-serverless.driverEnv 및 spark.executorEnv 환경 분류에 JAVA_HOME 설정을 제공할 수 있습니다.

x86_64

Java 17을 Spark 드라이버 및 실행기의 JAVA_HOME 구성으로 지정하기 위해 필요한 속성을 설정합니다.

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/ 
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
arm_64

Java 17을 Spark 드라이버 및 실행기의 JAVA_HOME 구성으로 지정하기 위해 필요한 속성을 설정합니다.

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/

spark-defaults

또는 spark-defaults 분류에서 Java 17을 지정하여 EMR Serverless 6.11.0 이상에 대한 JVM 설정을 재정의할 수 있습니다.

x86_64

spark-defaults 분류에서 Java 17을 지정합니다.

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/" 
            }
         }
      ]
}
arm_64

spark-defaults 분류에서 Java 17을 지정합니다.

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/" 
            }
         }
      ]
}