View a markdown version of this page

Mengkonfigurasi cluster Amazon EMR untuk melanjutkan atau mengakhiri setelah eksekusi langkah - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi cluster Amazon EMR untuk melanjutkan atau mengakhiri setelah eksekusi langkah

Topik ini menjelaskan perbedaan antara menggunakan cluster yang berjalan lama dan membuat cluster transien yang dimatikan setelah langkah terakhir berjalan. Ini juga mencakup cara mengkonfigurasi eksekusi langkah untuk cluster.

Buat cluster yang berjalan lama

Secara default, cluster yang Anda buat dengan konsol atau yang AWS CLI sudah berjalan lama. Long-running cluster terus berjalan, menerima pekerjaan, dan menambah biaya sampai Anda mengambil tindakan untuk mematikannya.

Cluster yang berjalan lama efektif dalam situasi berikut:

  • Ketika Anda perlu menanyakan data secara interaktif atau otomatis.

  • Ketika Anda perlu berinteraksi dengan aplikasi data besar yang dihosting di cluster secara berkelanjutan.

  • Ketika Anda secara berkala memproses kumpulan data yang begitu besar atau begitu sering sehingga tidak efisien untuk meluncurkan cluster baru dan memuat data setiap kali.

Anda juga dapat mengatur perlindungan terminasi pada cluster yang berjalan lama untuk menghindari mematikan instans EC2 secara tidak sengaja atau kesalahan. Untuk informasi selengkapnya, lihat Menggunakan perlindungan penghentian untuk melindungi cluster Amazon EMR Anda dari penutupan yang tidak disengaja.

catatan

Amazon EMR secara otomatis mengaktifkan perlindungan penghentian untuk semua cluster dengan beberapa node utama, dan mengganti setelan eksekusi langkah apa pun yang Anda berikan saat membuat cluster. Anda dapat menonaktifkan perlindungan penghentian setelah cluster diluncurkan. Lihat Mengonfigurasi perlindungan pengakhiran untuk menjalankan klaster. Untuk mematikan cluster dengan beberapa node utama, Anda harus terlebih dahulu memodifikasi atribut cluster untuk menonaktifkan perlindungan terminasi. Untuk petunjuk, lihat Menghentikan Cluster Amazon EMR dengan beberapa node utama.

Konfigurasikan cluster untuk diakhiri setelah eksekusi langkah

Saat Anda mengonfigurasi penghentian setelah eksekusi langkah, cluster dimulai, menjalankan tindakan bootstrap, dan kemudian menjalankan langkah-langkah yang Anda tentukan. Segera setelah langkah terakhir selesai, Amazon EMR mengakhiri instans Amazon EC2 cluster. Cluster yang Anda luncurkan dengan Amazon EMR API memiliki eksekusi langkah yang diaktifkan secara default.

Pengakhiran setelah eksekusi langkah efektif untuk cluster yang melakukan tugas pemrosesan berkala, seperti proses pemrosesan data harian. Eksekusi langkah juga membantu Anda memastikan bahwa Anda hanya ditagih untuk waktu yang diperlukan untuk memproses data Anda. Untuk informasi selengkapnya tentang langkah-langkahnya, lihat Kirim pekerjaan ke kluster EMR Amazon.

Console
Untuk mengaktifkan penghentian setelah eksekusi langkah dengan konsol
  1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

  2. Di bawah EMR di EC2 di panel navigasi kiri, pilih Clu ster, lalu pilih Buat cluster.

  3. Di bawah Langkah, pilih Tambah langkah. Dalam dialog Tambah langkah, masukkan nilai bidang yang sesuai. Opsi akan berbeda tergantung pada tipe langkah. Untuk menambahkan langkah Anda dan keluar dari dialog, pilih Tam bah langkah.

  4. Di bawah Pengakh iran cluster, pilih kotak centang Hentikan cluster setelah langkah terakhir selesai.

  5. Pilih opsi lain yang berlaku untuk cluster Anda.

  6. Untuk meluncurkan cluster Anda, pilih Buat cluster.

AWS CLI
Untuk mengaktifkan penghentian setelah eksekusi langkah dengan AWS CLI
  • Tentukan parameter --auto-terminate saat Anda menggunakan perintah create-cluster untuk membuat klaster sementara.

    Contoh berikut menunjukkan cara menggunakan --auto-terminate parameter. Anda dapat mengetik perintah berikut dan mengganti myKey dengan nama pasangan kunci EC2 Anda.

    catatan

    Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).

    aws emr create-cluster --name "Test cluster" --release-label emr-7.13.0 \ --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \ --steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\ Args=[-f,s3://amzn-s3-demo-bucket/scripts/pigscript.pig,-p,\ INPUT=s3://amzn-s3-demo-bucket/inputdata/,-p,OUTPUT=s3://amzn-s3-demo-bucket/outputdata/,\ $INPUT=s3://amzn-s3-demo-bucket/inputdata/,$OUTPUT=s3://amzn-s3-demo-bucket/outputdata/] --instance-type m5.xlarge --instance-count 3 --auto-terminate
API
Untuk mematikan penghentian setelah eksekusi langkah dengan Amazon EMR API dalam peluncuran cluster
  1. Saat Anda menggunakan RunJobFlow tindakan untuk membuat cluster, atur KeepJobFlowAliveWhenNoSteps properti kefalse.

  2. Untuk mengubah konfigurasi penghentian setelah eksekusi langkah dengan Amazon EMR API pasca peluncuran cluster:

    Gunakan SetKeepJobFlowAliveWhenNoSteps tindakan.