Menggunakan kebijakan penghentian otomatis untuk pembersihan EMR klaster Amazon - Amazon EMR
PertimbanganIzin untuk menggunakan penghentian otomatisLampirkan, perbarui, atau hapus kebijakan penghentian otomatis

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan kebijakan penghentian otomatis untuk pembersihan EMR klaster Amazon

Kebijakan penghentian otomatis memungkinkan Anda mengatur pembersihan klaster tanpa perlu memantau dan menghentikan kluster yang tidak digunakan secara manual. Saat menambahkan kebijakan penghentian otomatis ke klaster, Anda menentukan jumlah waktu idle setelah klaster akan mati secara otomatis.

Bergantung pada versi rilis, Amazon EMR menggunakan kriteria yang berbeda untuk menandai klaster sebagai idle. Tabel berikut menguraikan bagaimana Amazon EMR menentukan kemalasan cluster.

Saat Anda menggunakan... Sebuah cluster dianggap menganggur ketika...
Amazon EMR versi 5.34.0 dan yang lebih baru, dan 6.4.0 dan yang lebih baru

  • Tidak ada YARN aplikasi yang aktif

  • HDFSPemanfaatannya di bawah 10%

  • Tidak ada koneksi EMR notebook atau EMR Studio yang aktif

  • Tidak ada antarmuka pengguna aplikasi on-cluster yang digunakan

  • Tidak ada langkah yang tertunda
Amazon EMR versi 5.30.0 - 5.33.0 dan 6.1.0 - 6.3.0

  • Tidak ada YARN aplikasi yang aktif

  • Cluster tidak memiliki pekerjaan Spark aktif

catatan

Amazon EMR menandai klaster sebagai idle dan dapat secara otomatis menghentikan klaster meskipun Anda memiliki kernel Python3 yang aktif. Ini karena menjalankan kernel Python3 tidak mengirimkan pekerjaan Spark di cluster. Untuk menggunakan penghentian otomatis dengan kernel Python3, sebaiknya gunakan Amazon EMR versi 6.4.0 atau yang lebih baru.
catatan

Amazon EMR versi 6.4.0 dan yang lebih baru mendukung file on-cluster untuk mendeteksi aktivitas pada node utama:. /emr/metricscollector/isbusy Saat Anda menggunakan klaster untuk menjalankan skrip shell atau YARN non-aplikasi, Anda dapat menyentuh atau memperbarui secara berkala isbusy untuk memberi tahu Amazon EMR bahwa klaster tidak menganggur.

Anda dapat melampirkan kebijakan penghentian otomatis saat membuat klaster, atau menambahkan kebijakan ke klaster yang ada. Untuk mengubah atau menonaktifkan penghentian otomatis, Anda dapat memperbarui atau menghapus kebijakan.

Pertimbangan

Pertimbangkan fitur dan batasan berikut sebelum menggunakan kebijakan penghentian otomatis:

  • Berikut ini Wilayah AWS, EMR penghentian otomatis Amazon tersedia dengan Amazon EMR 6.14.0 dan yang lebih tinggi:

    • Asia Pasifik (Hyderabad) (ap-south-2)

    • Asia Pasifik (Jakarta) (ap-southeast-3)

    • Eropa (Spanyol) (eu-south-2)

  • Berikut ini Wilayah AWS, EMR penghentian otomatis Amazon tersedia dengan Amazon EMR 5.30.0 dan 6.1.0 dan yang lebih tinggi:

    • AS Timur (Virginia Utara) (us-east-1)

    • US East (Ohio) (us-east-2)

    • AS Barat (Oregon) (us-west-2)

    • AS Barat (California Utara) (us-west-1)

    • Africa (Cape Town) (af-south-1)

    • Asia Pacific (Hong Kong) (ap-east-1)

    • Asia Pasifik (Mumbai) (ap-south-1)

    • Asia Pacific (Seoul) (ap-northeast-2)

    • Asia Pasifik (Singapura) (ap-southeast-1)

    • Asia Pacific (Sydney) (ap-southeast-2)

    • Asia Pacific (Tokyo) (ap-northeast-1)

    • Kanada (Pusat) (ca-central-1)

    • Amerika Selatan (Sao Paulo) (sa-east-1)

    • Eropa (Frankfurt) (eu-central-1)

    • Eropa (Irlandia) (eu-west-1)

    • Eropa (London) (eu-west-2)

    • Europe (Milan) (eu-south-1)

    • Eropa (Paris) (eu-west-3)

    • Eropa (Stockholm) (eu-north-1)

    • Tiongkok (Beijing) (cn-utara-1)

    • Tiongkok (Ningxia) (cn-barat laut-1)

    • AWS GovCloud (AS-Timur) (us-gov-east-1)

    • AWS GovCloud (AS-Barat) (us-gov-west-1)

  • Batas waktu idle default menjadi 60 menit (satu jam) ketika Anda tidak menentukan jumlah. Anda dapat menentukan batas waktu idle minimum satu menit, dan batas waktu idle maksimum 7 hari.

  • Dengan Amazon EMR versi 6.4.0 dan yang lebih baru, penghentian otomatis diaktifkan secara default saat Anda membuat klaster baru dengan konsol AmazonEMR.

  • Amazon EMR menerbitkan Amazon CloudWatch metrik resolusi tinggi saat Anda mengaktifkan penghentian otomatis untuk klaster. Anda dapat menggunakan metrik ini untuk melacak aktivitas klaster dan kemalasan. Untuk informasi selengkapnya, lihat Metrik kapasitas klaster.

  • Pengakhiran otomatis tidak didukung ketika Anda menggunakan aplikasi YARN non-berbasis seperti Presto, Trino, atau. HBase

  • Untuk menggunakan penghentian otomatis, proses kolektor metrik harus dapat terhubung ke API titik akhir publik untuk penghentian otomatis di Gateway. API Jika Anda menggunakan DNS nama pribadi dengan Amazon Virtual Private Cloud, penghentian otomatis tidak akan berfungsi dengan baik. Untuk memastikan bahwa penghentian otomatis berfungsi, kami sarankan Anda mengambil salah satu tindakan berikut:

  • (EMR5.30.0 dan yang lebih baru) Jika Anda menghapus aturan default Izinkan Semua keluar ke 0.0.0.0/ untuk grup keamanan utama, Anda harus menambahkan aturan yang memungkinkan TCP konektivitas keluar ke grup keamanan Anda untuk akses layanan pada port 9443. Grup keamanan Anda untuk akses layanan juga harus mengizinkan TCP lalu lintas masuk pada port 9443 dari grup keamanan utama. Untuk informasi selengkapnya tentang mengonfigurasi grup keamanan, lihat Grup keamanan EMR terkelola Amazon untuk instance utama (subnet pribadi).

Izin untuk menggunakan penghentian otomatis

Sebelum dapat menerapkan dan mengelola kebijakan penghentian otomatis untuk AmazonEMR, Anda harus melampirkan izin yang tercantum dalam contoh kebijakan IAM izin berikut ke IAM sumber daya yang mengelola klaster Anda. EMR

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

Lampirkan, perbarui, atau hapus kebijakan penghentian otomatis

Bagian ini menyertakan petunjuk untuk membantu Anda melampirkan, memperbarui, atau menghapus kebijakan penghentian otomatis dari EMR klaster Amazon. Sebelum Anda bekerja dengan kebijakan penghentian otomatis, pastikan Anda memiliki IAM izin yang diperlukan. Lihat Izin untuk menggunakan penghentian otomatis.

Console
Untuk melampirkan kebijakan penghentian otomatis saat Anda membuat klaster dengan konsol

  1. Masuk ke AWS Management Console, dan buka EMR konsol Amazon di https://console.aws.amazon.com/emr.

  2. Di bawah EMREC2di panel navigasi kiri, pilih Clusters, lalu pilih Create cluster.

  3. Di bawah Pengakhiran cluster, pilih Hentikan klaster setelah waktu idle.

  4. Tentukan jumlah jam dan menit idle yang dapat berlalu sebelum cluster berakhir secara otomatis. Waktu idle default adalah 1 jam.

  5. Pilih opsi lain yang berlaku untuk cluster Anda.

  6. Untuk meluncurkan klaster Anda, pilih Buat klaster.

Untuk melampirkan, memperbarui, atau menghapus kebijakan penghentian otomatis pada klaster yang sedang berjalan dengan konsol

  1. Masuk ke AWS Management Console, dan buka EMR konsol Amazon di https://console.aws.amazon.com/emr.

  2. Di bawah EMREC2di panel navigasi kiri, pilih Cluster, dan pilih cluster yang ingin Anda perbarui.

  3. Pada tab Properties pada halaman detail cluster, temukan Pengakhiran cluster dan pilih Edit.

  4. Pilih atau hapus Aktifkan penghentian otomatis untuk mengaktifkan atau menonaktifkan fitur. Jika Anda mengaktifkan penghentian otomatis, tentukan jumlah jam dan menit idle yang dapat berlalu sebelum cluster dihentikan secara otomatis. Kemudian pilih Simpan perubahan untuk mengonfirmasi.

AWS CLI

Sebelum Anda mulai

Sebelum Anda bekerja dengan kebijakan penghentian otomatis, kami sarankan Anda memperbarui ke versi terbaru. AWS CLI Untuk petunjuk, lihat Menginstal, memperbarui, dan menghapus instalasi. AWS CLI

Untuk melampirkan atau memperbarui kebijakan penghentian otomatis menggunakan AWS CLI

  • Anda dapat menggunakan aws emr put-auto-termination-policy perintah untuk melampirkan atau memperbarui kebijakan penghentian otomatis di klaster.

    Contoh berikut menentukan 3600 detik untuk IdleTimeout. Jika Anda tidak menentukan IdleTimeout, nilai defaultnya menjadi satu jam. 

    aws emr put-auto-termination-policy \
--cluster-id <your-cluster-id> \
--auto-termination-policy IdleTimeout=3600
    catatan

    Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).

    Anda juga dapat menentukan nilai --auto-termination-policy saat Anda menggunakan aws emr create-cluster perintah. Untuk informasi selengkapnya tentang penggunaan EMR perintah Amazon di AWS CLI, lihat Referensi AWS CLI Perintah.

Untuk menghapus kebijakan penghentian otomatis dengan AWS CLI

  • Gunakan aws emr remove-auto-termination-policy perintah untuk menghapus kebijakan penghentian otomatis dari klaster. Untuk informasi selengkapnya tentang penggunaan EMR perintah Amazon di AWS CLI, lihat Referensi AWS CLI Perintah.

    aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>