View a markdown version of this page

Menggunakan kebijakan penghentian otomatis untuk pembersihan cluster Amazon EMR - Amazon EMR
Pertimbangan-pertimbanganIzin untuk menggunakan penghentian otomatisMelampirkan, memperbarui, atau menghapus kebijakan penghentian otomatis

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan kebijakan penghentian otomatis untuk pembersihan cluster Amazon EMR

Kebijakan penghentian otomatis memungkinkan Anda mengatur pembersihan cluster tanpa perlu memantau dan menghentikan klaster yang tidak digunakan secara manual. Saat menambahkan kebijakan penghentian otomatis ke cluster, Anda menentukan jumlah waktu idle setelah itu cluster harus dimatikan secara otomatis.

Bergantung pada versi rilis, Amazon EMR menggunakan kriteria yang berbeda untuk menandai cluster sebagai idle. Tabel berikut menguraikan bagaimana Amazon EMR menentukan kemalasan cluster.

Saat Anda menggunakan... Cluster dianggap menganggur ketika...
Amazon EMR versi 5.34.0 dan yang lebih baru, dan 6.4.0 dan yang lebih baru

  • Tidak ada aplikasi YARN aktif

  • Pemanfaatan HDFS di bawah 10%

  • Tidak ada koneksi notebook EMR atau EMR Studio yang aktif

  • Tidak ada antarmuka pengguna aplikasi on-cluster yang digunakan

  • Tidak ada langkah yang tertunda
Amazon EMR versi 5.30.0 - 5.33.0 dan 6.1.0 - 6.3.0

  • Tidak ada aplikasi YARN aktif

  • Cluster tidak memiliki pekerjaan Spark aktif

catatan

Amazon EMR menandai cluster sebagai idle dan dapat secara otomatis menghentikan cluster meskipun Anda memiliki kernel Python3 yang aktif. Ini karena mengeksekusi kernel Python3 tidak mengirimkan pekerjaan Spark di cluster. Untuk menggunakan penghentian otomatis dengan kernel Python3, sebaiknya gunakan Amazon EMR versi 6.4.0 atau yang lebih baru.
catatan

Amazon EMR versi 6.4.0 dan yang lebih baru mendukung file on-cluster untuk mendeteksi aktivitas pada node utama:. /emr/metricscollector/isbusy Saat menggunakan cluster untuk menjalankan skrip shell atau aplikasi non-Yarn, Anda dapat menyentuh atau memperbarui secara berkala isbusy untuk memberi tahu Amazon EMR bahwa cluster tidak idle.

Anda dapat melampirkan kebijakan penghentian otomatis saat membuat cluster, atau menambahkan kebijakan ke cluster yang ada. Untuk mengubah atau menonaktifkan penghentian otomatis, Anda dapat memperbarui atau menghapus kebijakan.

Pertimbangan-pertimbangan

Pertimbangkan fitur dan batasan berikut sebelum menggunakan kebijakan penghentian otomatis:

  • Berikut ini Wilayah AWS, penghentian otomatis Amazon EMR tersedia dengan Amazon EMR 6.14.0 dan yang lebih tinggi:

    • Asia Pasifik (Taipei) (ap-east-2)

    • Asia Pasifik (Melbourne) (ap-Southeast-4)

    • Asia Pasifik (Malaysia) (ap-Southeast-5)

    • Asia Pasifik (Selandia Baru) (ap-southeast-6)

    • Asia Pasifik (Thailand) (ap-southeast-7)

    • Kanada Barat (Calgary) (ca-barat-1)

    • Eropa (Spanyol) (eu-selatan-2)

    • Meksiko (Tengah) (mx-central-1)

  • Berikut ini Wilayah AWS, penghentian otomatis Amazon EMR tersedia dengan Amazon EMR 5.30.0 dan 6.1.0 dan yang lebih tinggi:

    • AS Timur (Virginia Utara) (us-east-1)

    • US East (Ohio) (us-east-2)

    • AS Barat (Oregon) (us-west-2)

    • AS Barat (California Utara) (us-west-1)

    • Africa (Cape Town) (af-south-1)

    • Asia Pacific (Hong Kong) (ap-east-1)

    • Asia Pasifik (Mumbai) (ap-south-1)

    • Asia Pasifik (Hyderabad) (ap-south-2)

    • Asia Pasifik (Seoul) (ap-northeast-2)

    • Asia Pasifik (Osaka) (ap-northeast-3)

    • Asia Pasifik (Singapura) (ap-southeast-1)

    • Asia Pasifik (Sydney) (ap-southeast-2)

    • Asia Pasifik (Jakarta) (ap-Southeast-3)

    • Asia Pasifik (Tokyo) (ap-northeast-1)

    • Kanada (Pusat) (ca-central-1)

    • Amerika Selatan (Sao Paulo) (sa-east-1)

    • Eropa (Frankfurt) (eu-central-1)

    • Eropa (Zurich) (eu-central-2)

    • Eropa (Irlandia) (eu-west-1)

    • Eropa (London) (eu-west-2)

    • Europe (Milan) (eu-south-1)

    • Eropa (Paris) (eu-west-3)

    • Eropa (Stockholm) (eu-north-1)

    • Israel (Tel Aviv) (pusat-1)

    • Middle East (UAE) (Timur Tengah)

    • Tiongkok (Beijing) (cn-utara-1)

    • China (Ningxia) (cn-barat laut-1)

    • AWS GovCloud (US-East) (us-gov-east-1)

    • AWS GovCloud (US-West) (us-gov-west-1)

  • Waktu tunggu idle default menjadi 60 menit (satu jam) jika Anda tidak menentukan jumlah. Anda dapat menentukan batas waktu idle minimum satu menit, dan batas waktu idle maksimum 7 hari.

  • Dengan Amazon EMR versi 6.4.0 dan yang lebih baru, penghentian otomatis diaktifkan secara default saat Anda membuat cluster baru dengan konsol Amazon EMR.

  • Amazon EMR menerbitkan Amazon CloudWatch metrik resolusi tinggi saat Anda mengaktifkan penghentian otomatis untuk cluster. Anda dapat menggunakan metrik ini untuk melacak aktivitas cluster dan kemalasan. Untuk informasi selengkapnya, lihat Metrik kapasitas klaster.

  • Auto-termination tidak didukung saat Anda menggunakan aplikasi berbasis non-Yarn seperti Presto, Trino, atau HBase.

  • Untuk menggunakan penghentian otomatis, proses metrik-kolektor harus dapat terhubung ke titik akhir API publik untuk penghentian otomatis di API Gateway. Jika Anda menggunakan nama DNS pribadi dengan Amazon Virtual Private Cloud, penghentian otomatis tidak akan berfungsi dengan baik. Untuk memastikan penghentian otomatis berfungsi, sebaiknya lakukan salah satu tindakan berikut:

  • (EMR 5.30.0 dan yang lebih baru) Jika Anda menghapus aturan Iz inkan Semua keluar default ke 0.0.0.0/ untuk grup keamanan utama, Anda harus menambahkan aturan yang memungkinkan konektivitas TCP keluar ke grup keamanan Anda untuk akses layanan pada port 9443. Grup keamanan Anda untuk akses layanan juga harus mengizinkan lalu lintas TCP masuk pada port 9443 dari grup keamanan utama. Untuk informasi selengkapnya tentang mengonfigurasi grup keamanan, lihat grup EMR-managed keamanan Amazon untuk instans utama (subnet pribadi).

Izin untuk menggunakan penghentian otomatis

Sebelum Anda dapat menerapkan dan mengelola kebijakan penghentian otomatis untuk Amazon EMR, Anda perlu melampirkan izin yang tercantum dalam contoh kebijakan izin IAM berikut ke sumber daya IAM yang mengelola cluster EMR Anda.

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

Melampirkan, memperbarui, atau menghapus kebijakan penghentian otomatis

Bagian ini mencakup petunjuk untuk membantu Anda melampirkan, memperbarui, atau menghapus kebijakan penghentian otomatis dari cluster Amazon EMR. Sebelum bekerja dengan kebijakan penghentian otomatis, pastikan Anda memiliki izin IAM yang diperlukan. Lihat Izin untuk menggunakan penghentian otomatis.

Console
Untuk melampirkan kebijakan penghentian otomatis saat Anda membuat cluster dengan konsol

  1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

  2. Di bawah EMR di EC2 di panel navigasi kiri, pilih Clu ster, lalu pilih Buat cluster.

  3. Di bawah Pengakh iran cluster, pilih Hentikan cluster setelah waktu idle.

  4. Tentukan jumlah jam dan menit idle yang dapat berlalu sebelum cluster dihentikan secara otomatis. Waktu idle default adalah 1 jam.

  5. Pilih opsi lain yang berlaku untuk cluster Anda.

  6. Untuk meluncurkan cluster Anda, pilih Buat cluster.

Untuk melampirkan, memperbarui, atau menghapus kebijakan penghentian otomatis pada cluster yang sedang berjalan dengan konsol

  1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

  2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Clu ster, dan pilih cluster yang ingin Anda perbarui.

  3. Pada tab Properties pada halaman detail cluster, temukan Pengakhiran Cluster dan pilih Edit.

  4. Pilih atau hapus Aktifkan penghentian otomatis untuk mengaktifkan atau menonaktifkan fitur. Jika Anda mengaktifkan penghentian otomatis, tentukan jumlah jam dan menit idle yang dapat berlalu sebelum cluster dihentikan secara otomatis. Kemudian pilih S impan perubahan untuk mengonfirmasi.

AWS CLI

Sebelum Anda mulai

Sebelum Anda bekerja dengan kebijakan penghentian otomatis, sebaiknya perbarui ke versi terbaru. AWS CLI Untuk petunjuk, lihat Menginstal, memperbarui, dan menghapus instalasi AWS CLI.

Untuk melampirkan atau memperbarui kebijakan penghentian otomatis menggunakan AWS CLI

  • Anda dapat menggunakan aws emr put-auto-termination-policy perintah untuk melampirkan atau memperbarui kebijakan penghentian otomatis pada cluster.

    Contoh berikut menentukan 3600 detik untukIdleTimeout. Jika Anda tidak menentukanIdleTimeout, nilai default menjadi satu jam. 

    aws emr put-auto-termination-policy \
--cluster-id <your-cluster-id> \
--auto-termination-policy IdleTimeout=3600
    catatan

    Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).

    Anda juga dapat menentukan nilai --auto-termination-policy saat Anda menggunakan aws emr create-cluster perintah. Untuk informasi selengkapnya tentang menggunakan perintah Amazon EMR di AWS CLI, lihat Refer ensi Per AWS CLI intah.

Untuk menghapus kebijakan penghentian otomatis dengan AWS CLI

  • Gunakan aws emr remove-auto-termination-policy perintah untuk menghapus kebijakan penghentian otomatis dari cluster. Untuk informasi selengkapnya tentang menggunakan perintah Amazon EMR di AWS CLI, lihat Refer ensi Per AWS CLI intah.

    aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>