Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan konfigurasi Spark saat Anda menjalankan EMR pekerjaan Tanpa Server

Anda dapat menjalankan pekerjaan Spark pada aplikasi dengan type parameter yang disetel keSPARK. Pekerjaan harus kompatibel dengan versi Spark yang kompatibel dengan versi EMR rilis Amazon. Misalnya, ketika Anda menjalankan pekerjaan dengan Amazon EMR rilis 6.6.0, pekerjaan Anda harus kompatibel dengan Apache Spark 3.2.0. Untuk informasi tentang versi aplikasi untuk setiap rilis, lihatEMRVersi rilis Amazon Tanpa Server.

Parameter pekerjaan percikan

Bila Anda menggunakan StartJobRunAPIuntuk menjalankan pekerjaan Spark, Anda dapat menentukan parameter berikut.

Peran runtime pekerjaan percikan

Gunakan executionRoleArnARNuntuk menentukan IAM peran yang digunakan aplikasi Anda untuk menjalankan pekerjaan Spark. Peran ini harus berisi izin berikut:

Jika pekerjaan Spark Anda membaca atau menulis data ke atau dari sumber data lain, tentukan izin yang sesuai dalam peran iniIAM. Jika Anda tidak memberikan izin ini untuk IAM peran tersebut, pekerjaan mungkin gagal. Untuk informasi selengkapnya, silakan lihat Peran runtime Job untuk Amazon Tanpa Server EMR dan Menyimpan log.

Parameter pengemudi pekerjaan percikan

Gunakan jobDriveruntuk memberikan masukan pada pekerjaan. Parameter driver pekerjaan hanya menerima satu nilai untuk jenis pekerjaan yang ingin Anda jalankan. Untuk pekerjaan Spark, nilai parameternya adalahsparkSubmit. Anda dapat menggunakan jenis pekerjaan ini untuk menjalankan Scala, Java, PySpark, SparkR, dan pekerjaan lain yang didukung melalui pengiriman Spark. Pekerjaan percikan memiliki parameter berikut:

Untuk informasi tambahan, lihat Peluncuran Aplikasi dengan spark-submit.

Parameter penggantian konfigurasi percikan

Gunakan configurationOverridesuntuk mengganti properti konfigurasi tingkat pemantauan dan tingkat aplikasi. Parameter ini menerima JSON objek dengan dua bidang berikut:

Jika Anda menggunakan konfigurasi yang sama dalam penggantian aplikasi dan dalam parameter pengiriman Spark, parameter pengiriman Spark akan diprioritaskan. Konfigurasi peringkat dalam prioritas sebagai berikut, dari tertinggi ke terendah:

Untuk informasi selengkapnya tentang mendeklarasikan konfigurasi di tingkat aplikasi, dan mengganti konfigurasi selama menjalankan pekerjaan, lihat. Konfigurasi aplikasi default untuk Tanpa EMR Server

Spark optimasi alokasi sumber daya dinamis

Gunakan dynamicAllocationOptimization untuk mengoptimalkan penggunaan sumber daya di EMR Tanpa Server. Menyetel properti ini ke true dalam klasifikasi konfigurasi Spark Anda menunjukkan ke EMR Tanpa Server untuk mengoptimalkan alokasi sumber daya pelaksana untuk menyelaraskan tingkat permintaan dan pembatalan Spark dengan tingkat di mana Serverless membuat dan melepaskan pekerja. EMR Dengan demikian, EMR Tanpa Server menggunakan kembali pekerja secara optimal di seluruh tahap, menghasilkan biaya yang lebih rendah saat menjalankan pekerjaan dengan beberapa tahap sambil mempertahankan kinerja yang sama.

Properti ini tersedia di semua versi EMR rilis Amazon.

Berikut ini adalah klasifikasi konfigurasi sampel dengandynamicAllocationOptimization.

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

Pertimbangkan hal berikut jika Anda menggunakan optimasi alokasi dinamis:

Properti pekerjaan percikan

Tabel berikut mencantumkan properti Spark opsional dan nilai defaultnya yang dapat Anda ganti saat mengirimkan pekerjaan Spark.

Tabel berikut mencantumkan parameter pengiriman Spark default.

Contoh percikan

Contoh berikut menunjukkan bagaimana menggunakan StartJobRun API untuk menjalankan script Python. Untuk end-to-end tutorial yang menggunakan contoh ini, lihatMemulai dengan Amazon Tanpa EMR Server. Anda dapat menemukan contoh tambahan tentang cara menjalankan PySpark pekerjaan dan menambahkan dependensi Python di repositori Sampel Tanpa Server. EMR GitHub

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

Contoh berikut menunjukkan bagaimana menggunakan StartJobRun API untuk menjalankan SparkJAR.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'