Inizia a usare spark-submit per Amazon su EMR EKS - Amazon EMR
Esecuzione di un'applicazione Spark

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Inizia a usare spark-submit per Amazon su EMR EKS

Amazon EMR 6.10.0 e versioni successive supportano spark-submit per l'esecuzione di applicazioni Spark su un cluster Amazon. EKS La sezione che segue mostra come inviare un comando per un'applicazione Spark.

Esecuzione di un'applicazione Spark

Per eseguire l'applicazione Spark, completa questa procedura:

  1. Prima di poter eseguire un'applicazione Spark con il comando spark-submit, completa le fasi indicate in Configurazione di spark-submit per Amazon su EMR EKS.

  2. Esegui un contenitore con un'immagine Amazon EMR on EKS base. Per ulteriori informazioni, consulta Come selezionare un'immagine URI di base.

    kubectl run -it containerName --image=EMRonEKSImage --command -n namespace /bin/bash

  3. Imposta i valori delle seguenti variabili di ambiente:

    export SPARK_HOME=spark-home
export MASTER_URL=k8s://Amazon EKS-cluster-endpoint

  4. A questo punto, invia l'applicazione Spark con il comando seguente:

    $SPARK_HOME/bin/spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master $MASTER_URL \
 --conf spark.kubernetes.container.image=895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest \
 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
 --deploy-mode cluster \
 --conf spark.kubernetes.namespace=spark-operator \
 local:///usr/lib/spark/examples/jars/spark-examples.jar 20

Per ulteriori informazioni sull'invio di applicazioni a Spark, consulta Invio di applicazioni nella documentazione di Apache Spark.

Importante

spark-submit supporta solo la modalità cluster come meccanismo di invio.