本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
將 Java 17 與 Amazon EMR 無伺服器搭配使用
在 Amazon 6.11.0 及更高EMR版本中,您可以將EMR無伺服器 Spark 任務設定為使用 Java 17 執行階段的 Java 虛擬機器 ()。JVM使用以下方法之一來配置與 Java 17 星火。
JAVA_HOME
若要覆寫EMR無伺服器 6.11.0 及更新版本的JVM設定,您可以將JAVA_HOME
設定提供給其spark.emr-serverless.driverEnv
與spark.executorEnv
環境分類。
- x86_64
-
設置所需的屬性以指定 Java 17 作為 Spark 驅動程序和執行程序的JAVA_HOME
配置:
--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/
- arm_64
-
設置所需的屬性以指定 Java 17 作為 Spark 驅動程序和執行程序的JAVA_HOME
配置:
--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
spark-defaults
或者,您可以在spark-defaults
分類中指定 Java 17,以覆寫EMR無伺服器 6.11.0 及更新版本的JVM設定。
- x86_64
-
在spark-defaults
分類中指定 Java 17:
{
"applicationConfiguration": [
{
"classification": "spark-defaults",
"properties": {
"spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/"
}
}
]
}
- arm_64
-
在spark-defaults
分類中指定 Java 17:
{
"applicationConfiguration": [
{
"classification": "spark-defaults",
"properties": {
"spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/"
}
}
]
}