Membuat dan menggunakan template pekerjaan untuk memulai pekerjaan - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat dan menggunakan template pekerjaan untuk memulai pekerjaan

Bagian ini menjelaskan pembuatan template pekerjaan dan menggunakan template untuk memulai pekerjaan dengan AWS Command Line Interface (AWS CLI).

Untuk membuat template pekerjaan

  1. Buat create-job-template-request.json file dan tentukan parameter yang diperlukan untuk template pekerjaan Anda, seperti yang ditunjukkan pada JSON file contoh berikut. Untuk informasi tentang semua parameter yang tersedia, lihat CreateJobTemplateAPI.

    Sebagian besar nilai yang diperlukan untuk StartJobRun API juga diperlukan untukjobTemplateData. Jika Anda ingin menggunakan placeholder untuk parameter apa pun dan memberikan nilai saat memanggil StartJobRun menggunakan templat pekerjaan, silakan lihat bagian selanjutnya pada parameter templat pekerjaan.

    { "name": "mytemplate", "jobTemplateData": { "executionRoleArn": "iam_role_arn_for_job_execution", "releaseLabel": "emr-6.7.0-latest", "jobDriver": { "sparkSubmitJobDriver": { "entryPoint": "entryPoint_location", "entryPointArguments": [ "argument1","argument2",...], "sparkSubmitParameters": "--class <main_class> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1" } }, "configurationOverrides": { "applicationConfiguration": [ { "classification": "spark-defaults", "properties": { "spark.driver.memory":"2G" } } ], "monitoringConfiguration": { "persistentAppUI": "ENABLED", "cloudWatchMonitoringConfiguration": { "logGroupName": "my_log_group", "logStreamNamePrefix": "log_stream_prefix" }, "s3MonitoringConfiguration": { "logUri": "s3://my_s3_log_location/" } } } } }
  2. Gunakan create-job-template perintah dengan path ke create-job-template-request.json file yang disimpan secara lokal.

    aws emr-containers create-job-template \ --cli-input-json file://./create-job-template-request.json

Untuk memulai pekerjaan dengan menggunakan template pekerjaan

Berikan id cluster virtual, id template pekerjaan, dan nama pekerjaan dalam StartJobRun perintah, seperti yang ditunjukkan pada contoh berikut.

aws emr-containers start-job-run \ --virtual-cluster-id 123456 \ --name myjob \ --job-template-id 1234abcd