Amazon EMR on 的 spark-submit 入門 EKS - Amazon EMR
執行 Spark 應用程式

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon EMR on 的 spark-submit 入門 EKS

Amazon EMR 6.10.0 和更高版本支援在 Amazon EKS叢集上執行 Spark 應用程式時提交 Spark。以下章節說明如何提交 Spark 應用程式的命令。

執行 Spark 應用程式

完成以下步驟，以執行 Spark 應用程式：

  1. 在使用 spark-submit 命令執行 Spark 應用程式之前，請先完成 在 EMR上設定 Amazon 的 spark-submit EKS 中的步驟。

  2. 使用 Amazon EMR on EKS base image 執行容器。如需詳細資訊，請參閱如何選取基礎映像URI。

    kubectl run -it containerName --image=EMRonEKSImage --command -n namespace /bin/bash

  3. 設定以下環境變數的值：

    export SPARK_HOME=spark-home
export MASTER_URL=k8s://Amazon EKS-cluster-endpoint

  4. 現在，使用下列命令提交 Spark 應用程式：

    $SPARK_HOME/bin/spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master $MASTER_URL \
 --conf spark.kubernetes.container.image=895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest \
 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
 --deploy-mode cluster \
 --conf spark.kubernetes.namespace=spark-operator \
 local:///usr/lib/spark/examples/jars/spark-examples.jar 20

如需有關將應用程式提交到 Spark 的詳細資訊，請參閱 Apache Spark 文件中的提交應用程式。

重要

spark-submit 僅支援叢集模式作為提交機制。