View a markdown version of this page

Menghentikan cluster Amazon EMR di status awal, berjalan, atau menunggu - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menghentikan cluster Amazon EMR di status awal, berjalan, atau menunggu

Awas

Cluster EMR yang dihentikan tidak dapat dipulihkan. Pastikan sumber daya dan data apa pun di notebook HDFS atau jupyter tidak lagi diperlukan sebelum dihapus. Data HDFS hilang saat cluster dihentikan.

Bagian ini menjelaskan metode untuk mengakhiri klaster. Untuk informasi tentang mengaktifkan proteksi pengakhiran dan mengakhiri klaster secara otomatis, lihat Kontrol penghentian cluster Amazon EMR. Anda dapat mengakhiri klaster dalam status STARTING, RUNNING, atau WAITING. Klaster dalam status WAITING harus diakhiri atau ia akan berjalan selamanya, sehingga menimbulkan biaya ke akun Anda. Anda dapat mengakhiri sebuah klaster yang gagal untuk meninggalkan status STARTING atau tidak dapat menyelesaikan suatu langkah.

Jika Anda ingin menghentikan cluster yang memiliki perlindungan penghentian yang ditetapkan di dalamnya, Anda harus menonaktifkan perlindungan penghentian sebelum Anda dapat menghentikan cluster. Cluster dapat dihentikan menggunakan konsol AWS CLI, atau secara terprogram menggunakan API. TerminateJobFlows

Tergantung pada konfigurasi cluster, diperlukan waktu 5 hingga 20 menit bagi cluster untuk sepenuhnya menghentikan dan melepaskan sumber daya yang dialokasikan, seperti instans EC2.

penting

Dalam kasus yang jarang terjadi, cluster mungkin tetap dalam keadaan TERMINATING lebih lama dari yang diharapkan. Jika cluster Anda belum menyelesaikan penghentian setelah satu jam, hentikan instans Amazon EC2 terkait secara langsung menggunakan konsol Amazon EC2 atau AWS CLI untuk menghindari biaya tak terduga. Untuk mengidentifikasi instans yang terkait dengan cluster Anda, di konsol EC2 filter instance berdasarkan tag aws:elasticmapreduce:job-flow-id dengan nilai yang disetel ke ID cluster Anda (misalnya,j-XXXXXXXXXXXXX).

catatan

Anda tidak dapat me-restart klaster yang diakhiri, tetapi Anda dapat mengkloning klaster yang diakhiri untuk menggunakan kembali konfigurasinya untuk klaster baru. Untuk informasi selengkapnya, lihat Mengkloning cluster Amazon EMR menggunakan konsol.

penting

Amazon EMR menggunakan peran layanan Amazon EMR dan AWSServiceRoleForEMRCleanup peran untuk membersihkan sumber daya cluster di akun Anda yang tidak lagi Anda gunakan, seperti instans Amazon EC2. Anda harus menyertakan tindakan untuk kebijakan peran untuk menghapus atau menghentikan sumber daya. Jika tidak, Amazon EMR tidak dapat melakukan tindakan pembersihan ini, dan Anda mungkin dikenakan biaya untuk sumber daya yang tidak terpakai yang tersisa di cluster.

Menghentikan cluster dengan konsol

Anda dapat mengakhiri satu atau lebih klaster menggunakan konsol Amazon EMR. Langkah-langkah untuk mengakhiri sebuah klaster di konsol bervariasi tergantung pada apakah proteksi pengakhiran aktif atau tidak. Untuk mengakhiri klaster yang diproteksi, Anda harus terlebih dahulu menonaktifkan proteksi pengakhiran.

Console
Untuk mengakhiri cluster dengan konsol
  1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

  2. Pilih Cluster, lalu pilih cluster yang ingin Anda akhiri.

  3. Di bawah menu tar ik-turun Tindakan, pilih Hentikan cluster untuk membuka prompt Hentikan cluster.

  4. Pada prompt, pilih H entikan. Tergantung pada konfigurasi cluster, penghentian mungkin memakan waktu 5 hingga 10 menit. Untuk informasi selengkapnya tentang cara membuat cluster Amazon EMR, lihatMenghentikan cluster Amazon EMR di status awal, berjalan, atau menunggu.

Menghentikan cluster dengan AWS CLI

Untuk menghentikan cluster yang tidak terlindungi menggunakan AWS CLI

Untuk menghentikan cluster yang tidak terlindungi menggunakan AWS CLI, gunakan terminate-clusters subperintah dengan parameter --cluster-ids.

  • Ketik perintah berikut untuk mengakhiri cluster tunggal dan mengganti j-3KVXXXXXXX7UG dengan ID cluster Anda.

    aws emr terminate-clusters --cluster-ids j-3KVXXXXXXX7UG

    Untuk menghentikan beberapa cluster, ketik perintah berikut dan ganti j-3KVXXXXXXX7UG dan j-WJ2XXXXXX8EU dengan ID cluster Anda.

    aws emr terminate-clusters --cluster-ids j-3KVXXXXXXX7UG j-WJ2XXXXXX8EU

    Untuk informasi selengkapnya tentang menggunakan perintah Amazon EMR di AWS CLI, lihathttps://docs.aws.amazon.com/cli/latest/reference/emr.

Untuk mengakhiri cluster yang dilindungi menggunakan AWS CLI

Untuk mengakhiri cluster yang dilindungi menggunakan AWS CLI, pertama-tama nonaktifkan perlindungan terminasi menggunakan modify-cluster-attributes subperintah dengan --no-termination-protected parameter. Kemudian gunakan subperintah terminate-clusters dengan parameter --cluster-ids untuk mengakhirinya.

  1. Ketik perintah berikut untuk menonaktifkan perlindungan terminasi dan mengganti j-3KVTXXXXXX7UG dengan ID cluster Anda.

    aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected
  2. Untuk mengakhiri cluster, ketik perintah berikut dan ganti j-3KVXXXXXXX7UG dengan ID cluster Anda.

    aws emr terminate-clusters --cluster-ids j-3KVXXXXXXX7UG

    Untuk menghentikan beberapa cluster, ketik perintah berikut dan ganti j-3KVXXXXXXX7UG dan j-WJ2XXXXXX8EU dengan ID cluster Anda.

    aws emr terminate-clusters --cluster-ids j-3KVXXXXXXX7UG j-WJ2XXXXXX8EU

    Untuk informasi selengkapnya tentang menggunakan perintah Amazon EMR di AWS CLI, lihathttps://docs.aws.amazon.com/cli/latest/reference/emr.

Menghentikan cluster dengan API

Operasi TerminateJobFlows menghentikan pengolahan langkah, mengunggah setiap data log dari Amazon EC2 ke Amazon S3 (jika dikonfigurasi), dan mengakhiri klaster Hadoop. Sebuah klaster juga berakhir secara otomatis jika Anda mengatur KeepJobAliveWhenNoSteps ke False dalam permintaan RunJobFlows.

Anda dapat menggunakan tindakan ini untuk mengakhiri satu klaster atau daftar klaster dengan ID klaster mereka.

Untuk informasi selengkapnya tentang parameter input yang unik untukTerminateJobFlows, lihat TerminateJobFlows. Untuk informasi selengkapnya tentang parameter generik dalam permintaan, lihat Parameter permintaan umum.