Amazon EMR on EKS で spark-submit の使用を開始する - Amazon EMR
Spark アプリケーションの実行

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR on EKS で spark-submit の使用を開始する

Amazon EMR 6.10.0 以降では、Amazon EKS クラスターで Spark アプリケーションを実行するための spark-submit がサポートされています。次のセクションでは、Spark アプリケーションのコマンドを送信する方法を示します。

Spark アプリケーションの実行

Spark アプリケーションを実行するには、以下の手順に従います。

  1. spark-submit コマンドで Spark アプリケーションを実行する前に、「Amazon EMR on EKS での spark-submit のセットアップ」のステップを完了してください。

  2. Amazon EMR on EKS ベースイメージを使用してコンテナを実行します。詳細については、「ベースイメージ URI を選択する方法」を参照してください。

    kubectl run -it containerName --image=EMRonEKSImage --command -n namespace /bin/bash

  3. 次の環境変数の値を設定します。

    export SPARK_HOME=spark-home
export MASTER_URL=k8s://Amazon EKS-cluster-endpoint

  4. 次に、以下のコマンドを使用して、Spark アプリケーションを送信します。

    $SPARK_HOME/bin/spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master $MASTER_URL \
 --conf spark.kubernetes.container.image=895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest \
 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
 --deploy-mode cluster \
 --conf spark.kubernetes.namespace=spark-operator \
 local:///usr/lib/spark/examples/jars/spark-examples.jar 20

Spark へのアプリケーションの送信の詳細については、Apache Spark ドキュメントの「Submitting applications」を参照してください。

重要

spark-submit は送信メカニズムとしてクラスターモードのみをサポートします。