Erste Schritte mit spark-submit für Amazon auf EMR EKS - Amazon EMR
Eine Spark-Anwendung ausführen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erste Schritte mit spark-submit für Amazon auf EMR EKS

Amazon EMR 6.10.0 und höher unterstützt Spark-Submit für die Ausführung von Spark-Anwendungen auf einem Amazon-Cluster. EKS Der folgende Abschnitt zeigt Ihnen, wie Sie einen Befehl für eine Spark-Anwendung einreichen.

Eine Spark-Anwendung ausführen

Führen Sie die folgenden Schritte aus, um die Spark-Anwendung auszuführen:

  1. Bevor Sie eine Spark-Anwendung mit dem spark-submit-Befehl ausführen können, führen Sie die Schritte unter Spark-Submit für Amazon einrichten am EMR EKS durch.

  2. Führen Sie einen Container mit einem EMR EKS Amazon-On-Basis-Image aus. Weitere Informationen finden Sie unter So wählen Sie ein Basis-Image URI aus.

    kubectl run -it containerName --image=EMRonEKSImage --command -n namespace /bin/bash

  3. Legen Sie die Werte der folgenden Umgebungsvariablen fest:

    export SPARK_HOME=spark-home
export MASTER_URL=k8s://Amazon EKS-cluster-endpoint

  4. Senden Sie jetzt die Spark-Anwendung mit dem folgenden Befehl:

    $SPARK_HOME/bin/spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master $MASTER_URL \
 --conf spark.kubernetes.container.image=895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest \
 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
 --deploy-mode cluster \
 --conf spark.kubernetes.namespace=spark-operator \
 local:///usr/lib/spark/examples/jars/spark-examples.jar 20

Weitere Informationen zum Senden von Anwendungen an Spark finden Sie im Thema Anwendungen senden in der Apache-Spark-Dokumentation.

Wichtig

spark-submit unterstützt nur den Cluster-Modus als Einreichungsmechanismus.