Bantu tingkatkan halaman ini

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Untuk berkontribusi pada panduan pengguna ini, pilih Edit halaman ini pada GitHub tautan yang terletak di panel kanan setiap halaman.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kelola perangkat Neuron di Amazon EKS

AWS Trainium dan AWS Inferentia adalah chip pembelajaran mesin yang dibuat khusus yang dirancang oleh. AWS Amazon EKS mendukung dua mekanisme untuk mengelola perangkat Neuron di cluster EKS: driver Neuron DRA dan plugin perangkat Neuron Kubernetes.

Disarankan untuk menggunakan driver Neuron DRA untuk penerapan baru pada cluster EKS yang menjalankan Kubernetes versi 1.34 atau yang lebih baru dengan grup node terkelola EKS atau grup node yang dikelola sendiri. Driver Neuron DRA menyediakan alokasi sadar topologi, penjadwalan subset perangkat yang terhubung, konfigurasi Logis NeuronCore (LNC), dan UltraServer alokasi multi-node tanpa memerlukan ekstensi penjadwal khusus.

Driver Neuron DRA tidak didukung dengan Karpenter atau Mode Otomatis EKS. Gunakan plugin perangkat Neuron dengan Karpenter dan Mode Otomatis EKS. Plugin perangkat Neuron juga tetap didukung untuk grup simpul yang dikelola EKS dan node yang dikelola sendiri.

Driver Neuron DRA vs plugin perangkat Neuron

Instal driver Neuron DRA

Driver Neuron DRA mengiklankan perangkat Neuron sebagai ResourceSlice objek dengan DeviceClass namaneuron.aws.com. Pengemudi berjalan sebagai DaemonSet dan secara otomatis menemukan perangkat Neuron dan atribut topologi mereka.

Informasi terperinci tentang driver Neuron DRA tersedia dalam dokumentasi Neuron DRA.

Prasyarat

Prosedur

Lihat dokumentasi Neuron DRA untuk informasi tentang atribut ResourceSlice objek yang tersedia.

Minta perangkat Neuron dalam Pod

Untuk meminta perangkat Neuron menggunakan driver DRA, buat referensi ResourceClaimTemplate yang mereferensikan neuron.aws.com DeviceClass dan mereferensikannya dalam spesifikasi Pod Anda.

Contoh berikut meminta semua perangkat Neuron pada sebuah trn2.48xlarge instance:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

Alokasikan subset perangkat yang terhubung

Driver Neuron DRA dapat mengalokasikan subset perangkat Neuron yang terhubung tanpa memerlukan ekstensi penjadwal Neuron. Ukuran subset yang didukung adalah 1, 4, 8, atau 16 perangkat. Gunakan matchAttribute kendala dengan ID grup topologi untuk memastikan perangkat terhubung.

Contoh berikut meminta 4 perangkat Neuron yang terhubung:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

matchAttributeNilai yang didukung untuk himpunan bagian yang terhubung adalahresource.aws.com/devicegroup1_id,, resource.aws.com/devicegroup4_idresource.aws.com/devicegroup8_id, danresource.aws.com/devicegroup16_id. Angka dalam nama devicegroup atribut sesuai dengan jumlah perangkat Neuron dalam grup topologi yang terhubung. Misalnya, resource.aws.com/devicegroup1_id mengidentifikasi perangkat Neuron tunggal, resource.aws.com/devicegroup4_id mengidentifikasi sekelompok 4 perangkat yang terhubung, dan dan resource.aws.com/devicegroup16_id mengidentifikasi kelompok 8 resource.aws.com/devicegroup8_id dan 16 perangkat yang terhubung masing-masing. Pilih matchAttribute yang cocok dengan perangkat count dalam permintaan Anda sehingga perangkat yang dialokasikan milik grup topologi terhubung yang sama. Untuk informasi lebih lanjut tentang atribut ini, lihat dokumentasi driver Neuron DRA.

Konfigurasikan Logis NeuronCores (LNC)

Driver Neuron DRA memungkinkan NeuronCore konfigurasi Logis per beban kerja melalui parameter. ResourceClaimTemplate Ini menghilangkan kebutuhan untuk melakukan pra-konfigurasi LNC di Template Peluncuran EC2.

Contoh berikut meminta semua perangkat Neuron dengan LNC disetel ke 1:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

Alokasikan perangkat Neuron dengan antarmuka EFA yang selaras

Lihat Topology-aware EFA dan alokasi GPU/Neuron perangkat

Instal plugin perangkat Neuron Kubernetes

Plugin perangkat Neuron Kubernetes mengiklankan perangkat Neuron sebagai aws.amazon.com/neuron dan NeuronCores sebagai sumber daya yang diperluas. aws.amazon.com/neuroncore Anda meminta perangkat Neuron dalam permintaan dan batasan sumber daya wadah.

Prasyarat

Prosedur

Verifikasi perangkat Neuron dengan Pod uji

Anda dapat memverifikasi bahwa perangkat Neuron dapat diakses dengan menjalankan neuron-ls alat di Pod pengujian.

Untuk informasi selengkapnya tentang penggunaan perangkat Neuron dengan Amazon EKS, lihat dokumentasi Neuron untuk berjalan di EKS.