Buat grup node terkelola dengan Blok Kapasitas untuk ML - Amazon EKS
Pertimbangan Membuat grup node terkelola untuk ML

Bantu tingkatkan halaman ini

Ingin berkontribusi pada panduan pengguna ini? Gulir ke bagian bawah halaman ini dan pilih Edit halaman ini GitHub. Kontribusi Anda akan membantu membuat panduan pengguna kami lebih baik untuk semua orang.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat grup node terkelola dengan Blok Kapasitas untuk ML

Blok Kapasitas untuk pembelajaran mesin (ML) memungkinkan Anda melakukan reservasi GPU instans di masa mendatang untuk mendukung beban kerja MS berdurasi pendek Anda. Untuk informasi selengkapnya, lihat Blok Kapasitas untuk ML di Panduan EC2 Pengguna Amazon untuk Instans Linux.

Pertimbangan

penting

  • Blok Kapasitas hanya tersedia untuk jenis EC2 instans Amazon tertentu dan Wilayah AWS. Untuk informasi kompatibilitas, lihat Prasyarat Bekerja dengan Blok Kapasitas di Panduan EC2 Pengguna Amazon untuk Instans Linux.

  • Untuk informasi selengkapnya, lihat Menggunakan Blok Kapasitas untuk beban kerja pembelajaran mesin di Panduan Pengguna Amazon EC2 Auto Scaling.

  • Grup node terkelola dengan Blok Kapasitas hanya dapat dibuat dengan templat peluncuran khusus.

  • Saat memutakhirkan grup node terkelola dengan Blok Kapasitas, pastikan ukuran grup node yang diinginkan diatur ke0.

Membuat grup node terkelola dengan Amazon EC2 Capacity Blocks

Anda dapat menggunakan Blok Kapasitas dengan grup node EKS terkelola Amazon untuk menyediakan dan menskalakan node pekerja GPU yang dipercepat. Contoh AWS CloudFormation template yang mengikuti tidak mencakup setiap aspek yang diperlukan dalam cluster produksi. Biasanya, Anda juga ingin skrip bootstrap bergabung dengan node ke cluster dan menentukan Amazon yang dipercepat. EKS AMI Untuk informasi selengkapnya, lihat Buat grup node terkelola untuk klaster Anda.

  1. Buat template peluncuran yang sesuai untuk beban kerja Anda dan berfungsi dengan grup node EKS terkelola Amazon. Untuk informasi selengkapnya, lihat Sesuaikan node terkelola dengan templat peluncuran.

    Selain persyaratan dalam prosedur di atas, pastikan bahwa LaunchTemplateData termasuk yang berikut:

    • InstanceMarketOptionsdengan MarketType set ke "capacity-block"

    • CapacityReservationSpecification: CapacityReservationTargetdengan CapacityReservationId diatur ke Blok Kapasitas (misalnya:cr-02168da1478b509e0)

    • InstanceTypedisetel ke jenis instance yang mendukung Blok Kapasitas (misalnya:p5.48xlarge)

    Berikut ini adalah kutipan dari template yang membuat CloudFormation template peluncuran yang menargetkan Blok Kapasitas. Untuk membuat grup node AMI terkelola kustom, Anda juga dapat menambahkan ImageId dan UserData parameter.

    NodeLaunchTemplate:
  Type: "AWS::EC2::LaunchTemplate"
  Properties:
    LaunchTemplateData:
      InstanceMarketOptions:
        MarketType: "capacity-block"
      CapacityReservationSpecification:
        CapacityReservationTarget:
          CapacityReservationId: "cr-02168da1478b509e0"
      InstanceType: p5.48xlarge

  2. Gunakan template peluncuran untuk membuat grup node terkelola.

    Berikut ini adalah contoh membuat perintah grup node untuk Blok Kapasitas. Ganti example-values dengan yang berlaku untuk cluster Anda.

    Saat membuat grup node terkelola Blok Kapasitas, lakukan hal berikut:

    • Atur capacity-type ke "CAPACITY_BLOCK" . Jika jenis kapasitas tidak disetel ke "CAPACITY_BLOCK" atau salah satu nilai template peluncuran wajib lainnya di atas hilang, maka permintaan buat akan ditolak.

    • Saat menentukan subnets dalam permintaan buat, pastikan untuk hanya menentukan subnet di Availability Zone yang sama dengan reservasi kapasitas.

    • Jika Anda menentukan bukan nol desiredSize dalam permintaan buat, Amazon EKS akan menghormatinya saat membuat grup ASG Auto Scaling (). Namun, jika permintaan pembuatan dibuat sebelum reservasi kapasitas aktif, maka ASG tidak akan dapat meluncurkan EC2 instans Amazon hingga menjadi aktif. Akibatnya, aktivitas ASG penskalaan akan memiliki kesalahan peluncuran. Setiap kali reservasi menjadi aktif, maka peluncuran instance akan berhasil dan ASG akan ditingkatkan ke yang desiredSize disebutkan pada waktu pembuatan.

    aws eks create-nodegroup \
    --cluster-name my-cluster \
    --nodegroup-name my-mng \
    --node-role node-role-arn \
    --region region-code \
    --subnets subnet-id \
    --scaling-config minSize=node-group-min-size,maxSize=node-group-max-size,desiredSize=node-group-desired-size \
    --capacity-type "CAPACITY_BLOCK" \
    --launch-template id="lt-id",version=1

  3. Pastikan node bergabung setelah skala naik. EKSCluster Amazon yang menggunakan grup node terkelola dengan Blok Kapasitas tidak melakukan validasi apa pun bahwa instance yang diluncurkan benar-benar bergabung dan mendaftar dengan cluster.

  4. Jika Anda desiredSize mengatur 0 pada waktu pembuatan, maka Anda memiliki opsi berbeda untuk meningkatkan grup node saat reservasi kapasitas menjadi aktif:

    • Buat kebijakan penskalaan terjadwal untuk ASG yang sejajar dengan waktu mulai reservasi Blok Kapasitas. Untuk informasi selengkapnya, lihat Penskalaan terjadwal untuk EC2 Auto Scaling Amazon di Panduan Pengguna Amazon Auto EC2 Scaling.

    • Gunakan EKS konsol Amazon atau eks update-nodegroup-config untuk memperbarui konfigurasi penskalaan dan mengatur ukuran grup node yang diinginkan.

    • Gunakan Kubernetes Cluster Autoscaler. Untuk informasi selengkapnya, lihat Cluster Autoscaler di. AWS

  5. Grup node sekarang siap untuk beban kerja dan Pods dijadwalkan.

  6. PodsAgar Anda terkuras dengan baik sebelum reservasi berakhir, Amazon EKS menggunakan kebijakan penskalaan terjadwal untuk menurunkan ukuran grup node menjadi. 0 Penskalaan terjadwal ini akan ditetapkan dengan nama berjudulAmazon EKS Node Group Capacity Scaledown Before Reservation End. Kami menyarankan untuk tidak mengedit atau menghapus tindakan ini.

    Amazon EC2 mulai mematikan instans 30 menit sebelum waktu akhir reservasi. Akibatnya, Amazon EKS akan mengatur penurunan skala terjadwal pada grup node 40 menit sebelum reservasi mereka berakhir untuk mengusir dengan aman dan anggun. Pods