將 Java 17 與 Amazon EMR 無伺服器搭配使用 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將 Java 17 與 Amazon EMR 無伺服器搭配使用

在 Amazon 6.11.0 及更高EMR版本中,您可以將EMR無伺服器 Spark 任務設定為使用 Java 17 執行階段的 Java 虛擬機器 ()。JVM使用以下方法之一來配置與 Java 17 星火。

JAVA_HOME

若要覆寫EMR無伺服器 6.11.0 及更新版本的JVM設定,您可以將JAVA_HOME設定提供給其spark.emr-serverless.driverEnvspark.executorEnv環境分類。

x86_64

設置所需的屬性以指定 Java 17 作為 Spark 驅動程序和執行程序的JAVA_HOME配置:

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/ --conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
arm_64

設置所需的屬性以指定 Java 17 作為 Spark 驅動程序和執行程序的JAVA_HOME配置:

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/ --conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/

spark-defaults

或者,您可以在spark-defaults分類中指定 Java 17,以覆寫EMR無伺服器 6.11.0 及更新版本的JVM設定。

x86_64

spark-defaults分類中指定 Java 17:

{ "applicationConfiguration": [ { "classification": "spark-defaults", "properties": { "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/", "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/" } } ] }
arm_64

spark-defaults分類中指定 Java 17:

{ "applicationConfiguration": [ { "classification": "spark-defaults", "properties": { "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/", "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/" } } ] }