Memulai dengan spark-submit untuk Amazon di EMR EKS - Amazon EMR
Jalankan aplikasi Spark

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memulai dengan spark-submit untuk Amazon di EMR EKS

Amazon EMR 6.10.0 dan yang lebih tinggi mendukung spark-submit untuk menjalankan aplikasi Spark di klaster Amazon. EKS Bagian berikut menunjukkan kepada Anda cara mengirimkan perintah untuk aplikasi Spark.

Jalankan aplikasi Spark

Untuk menjalankan aplikasi Spark, ikuti langkah-langkah berikut:

  1. Sebelum Anda dapat menjalankan aplikasi Spark dengan spark-submit perintah, selesaikan langkah-langkahnya. Menyiapkan spark-submit untuk Amazon di EMR EKS

  2. Jalankan wadah dengan Amazon EMR pada gambar EKS dasar. Lihat Cara memilih gambar dasar URI untuk informasi selengkapnya.

    kubectl run -it containerName --image=EMRonEKSImage --command -n namespace /bin/bash

  3. Tetapkan nilai untuk variabel lingkungan berikut:

    export SPARK_HOME=spark-home
export MASTER_URL=k8s://Amazon EKS-cluster-endpoint

  4. Sekarang, kirimkan aplikasi Spark dengan perintah berikut:

    $SPARK_HOME/bin/spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master $MASTER_URL \
 --conf spark.kubernetes.container.image=895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest \
 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
 --deploy-mode cluster \
 --conf spark.kubernetes.namespace=spark-operator \
 local:///usr/lib/spark/examples/jars/spark-examples.jar 20

Untuk informasi selengkapnya tentang mengirimkan aplikasi ke Spark, lihat Mengirimkan aplikasi dalam dokumentasi Apache Spark.

penting

spark-submithanya mendukung mode cluster sebagai mekanisme pengiriman.