Konkurensi dan antrian pekerjaan - Amazon EMR
Manfaat utama konkurensi dan antrianMemulai dengan konkurensi dan antrianPertimbangan untuk konkurensi dan antrian

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konkurensi dan antrian pekerjaan

Dimulai dengan Amazon EMR versi 7.0.0 dan yang lebih baru, Anda dapat menentukan batas waktu antrean tugas dan konfigurasi konkurensi untuk aplikasi Anda. Saat Anda menentukan konfigurasi ini, Amazon EMR Serverless dimulai dengan mengantri pekerjaan Anda dan memulai eksekusi berdasarkan pemanfaatan konkurensi pada aplikasi Anda. Misalnya, jika konkurensi pekerjaan Anda adalah 10, hanya sepuluh pekerjaan yang dijalankan sekaligus pada aplikasi Anda. Pekerjaan yang tersisa diantrian sampai salah satu pekerjaan yang berjalan berakhir. Jika batas waktu antrian tercapai lebih awal, waktu kerja Anda habis. Untuk informasi selengkapnya, lihat Status Job run.

Manfaat utama konkurensi dan antrian

Konkurensi dan antrian pekerjaan memberikan manfaat berikut ketika banyak pengajuan pekerjaan diperlukan:

  • Ini membantu mengontrol pekerjaan eksekusi bersamaan untuk secara efisien menggunakan batas kapasitas tingkat aplikasi Anda.

  • Antrian dapat berisi ledakan pengiriman pekerjaan yang tiba-tiba, dengan pengaturan batas waktu yang dapat dikonfigurasi.

Memulai dengan konkurensi dan antrian

Prosedur berikut menunjukkan beberapa cara berbeda untuk menerapkan konkurensi dan antrian.

Menggunakan AWS CLI

  1. Buat aplikasi Amazon EMR Tanpa Server dengan batas waktu antrian dan menjalankan pekerjaan bersamaan:

    aws emr-serverless create-application \
--release-label emr-7.0.0 \
--type SPARK \
--scheduler-configuration '{"maxConcurrentRuns": 1, "queueTimeoutMinutes": 30}'

  2. Perbarui aplikasi untuk mengubah batas waktu antrian pekerjaan dan konkurensi:

    aws emr-serverless update-application \
--application-id application-id \
--scheduler-configuration '{"maxConcurrentRuns": 5, "queueTimeoutMinutes": 30}'
    catatan

    Anda dapat memperbarui aplikasi yang ada untuk mengaktifkan konkurensi pekerjaan dan antrian. Untuk melakukan ini, aplikasi harus memiliki label rilis emr-7.0.0 atau yang lebih baru.

Menggunakan AWS Management Console

Langkah-langkah berikut menunjukkan kepada Anda cara memulai dengan konkurensi pekerjaan dan antrian, menggunakan: AWS Management Console

  1. Buka EMR Studio dan pilih untuk membuat aplikasi dengan label rilis EMR -7.0.0 atau lebih tinggi.

  2. Di bawah Opsi pengaturan aplikasi, pilih opsi Gunakan pengaturan khusus.

  3. Di bawah Konfigurasi tambahan ada bagian untuk Pengaturan Job Run. Pilih opsi Aktifkan konkurensi pekerjaan untuk mengaktifkan fitur.

  4. Setelah dipilih, Anda dapat memilih keduanya Concurrent job run dan Queue timeout untuk mengonfigurasi jumlah pekerjaan yang berjalan bersamaan dan batas waktu antrian, masing-masing. Jika Anda tidak memasukkan nilai untuk pengaturan ini, nilai default digunakan.

  5. Pilih Buat Aplikasi dan aplikasi akan dibuat dengan fitur ini diaktifkan. Untuk memverifikasi, buka dasbor, pilih aplikasi Anda dan periksa di bawah tab properti untuk menentukan apakah fitur tersebut diaktifkan.

Mengikuti konfigurasi, Anda dapat mengirimkan pekerjaan dengan fitur ini diaktifkan.

Pertimbangan untuk konkurensi dan antrian

Pertimbangkan hal-hal berikut saat Anda menerapkan konkurensi dan antrian:

  • Antrian pekerjaan dan konkurensi didukung pada EMR rilis Amazon 7.0.0 dan yang lebih baru.

  • Anda dapat memperbarui konkurensi untuk aplikasi di STARTEDnegara bagian.

  • Rentang yang valid untuk maxConcurrentRuns adalah 1 hingga 1000, dan untuk queueTimeoutMinutes itu adalah 15 hingga 720.

  • Maksimal 2000 pekerjaan dapat berada di QUEUEDnegara bagian untuk akun.

  • Konkurensi dan antrian berlaku untuk pekerjaan batch dan streaming. Ini tidak dapat digunakan untuk pekerjaan interaktif. Untuk informasi selengkapnya, lihat Menjalankan beban kerja interaktif dengan EMR Tanpa Server melalui Studio. EMR