Comenzar a utilizar spark-submit para Amazon EMR en EKS - Amazon EMR
Ejecutar una aplicación de Spark

Comenzar a utilizar spark-submit para Amazon EMR en EKS

Amazon EMR 6.10.0 y las versiones posteriores admiten spark-submit para ejecutar aplicaciones de Spark en un clúster de Amazon EKS. En la siguiente sección, se muestra cómo enviar un comando para una aplicación Spark.

Ejecutar una aplicación de Spark

Complete los pasos que se indican a continuación para ejecutar la aplicación de Spark:

  1. Para poder ejecutar una aplicación de Spark con el comando spark-submit, complete los pasos que se indican en Configuración de spark-submit para Amazon EMR en EKS.

  2. Ejecute un contenedor con Amazon EMR en la imagen base de EKS. Consulte Cómo seleccionar un URI de imagen base para obtener más información.

    kubectl run -it containerName --image=EMRonEKSImage --command -n namespace /bin/bash

  3. Establezca los valores de las siguientes variables de entorno:

    export SPARK_HOME=spark-home
export MASTER_URL=k8s://Amazon EKS-cluster-endpoint

  4. Luego, envíe la solicitud de Spark con el siguiente comando:

    $SPARK_HOME/bin/spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master $MASTER_URL \
 --conf spark.kubernetes.container.image=895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest \
 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
 --deploy-mode cluster \
 --conf spark.kubernetes.namespace=spark-operator \
 local:///usr/lib/spark/examples/jars/spark-examples.jar 20

Para obtener más información acerca de cómo enviar aplicaciones a Spark, consulte Envío de aplicaciones en la documentación de Apache Spark.

importante

spark-submit solo admite el modo de clúster como mecanismo de envío.