Contribuisci a migliorare questa pagina

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Per contribuire a questa guida per l'utente, scegli il GitHub link Modifica questa pagina nel riquadro destro di ogni pagina.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Gestisci i dispositivi Neuron su Amazon EKS

AWS Trainium e AWS Inferentia sono chip di apprendimento automatico progettati appositamente da. AWS Amazon EKS supporta due meccanismi per la gestione dei dispositivi Neuron nei cluster EKS: il driver Neuron DRA e il plug-in del dispositivo Neuron Kubernetes.

Si consiglia di utilizzare il driver Neuron DRA per nuove implementazioni su cluster EKS che eseguono Kubernetes versione 1.34 o successiva con gruppi di nodi gestiti EKS o gruppi di nodi autogestiti. Il driver Neuron DRA fornisce l'allocazione basata sulla topologia, la pianificazione dei sottoinsiemi di dispositivi connessi, la configurazione logica (LNC) e l'allocazione multinodo senza richiedere estensioni di pianificazione personalizzate. NeuronCore UltraServer

Il driver Neuron DRA non è supportato con Karpenter o EKS Auto Mode. Usa il plug-in del dispositivo Neuron con Karpenter ed EKS Auto Mode. Il plug-in del dispositivo Neuron rimane supportato anche per i gruppi di nodi gestiti da EKS e i nodi autogestiti.

Driver Neuron DRA e plug-in per dispositivi Neuron

Installa il driver Neuron DRA

Il driver Neuron DRA pubblicizza i dispositivi Neuron come oggetti con lo stesso nome. ResourceSlice DeviceClass neuron.aws.com Il driver funziona come un DaemonSet e rileva automaticamente i dispositivi Neuron e i relativi attributi di topologia.

Informazioni dettagliate sul driver Neuron DRA sono disponibili nella documentazione Neuron DRA.

Prerequisiti

Procedura

Consultate la documentazione di Neuron DRA per informazioni sugli attributi degli oggetti disponibiliResourceSlice.

Richiedi dispositivi Neuron in un Pod

Per richiedere dispositivi Neuron utilizzando il driver DRA, creane uno ResourceClaimTemplate che faccia riferimento a neuron.aws.com DeviceClass e fallo riferimento nelle specifiche del tuo Pod.

L'esempio seguente richiede tutti i dispositivi Neuron su un'istanza: trn2.48xlarge

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

Alloca sottoinsiemi di dispositivi collegati

Il driver Neuron DRA può allocare sottoinsiemi di dispositivi Neuron collegati senza richiedere l'estensione dello scheduler Neuron. Le dimensioni dei sottoinsiemi supportate sono 1, 4, 8 o 16 dispositivi. Utilizzate il matchAttribute vincolo con un ID del gruppo di topologia per assicurarvi che i dispositivi siano collegati.

L'esempio seguente richiede 4 dispositivi Neuron connessi:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

I matchAttribute valori supportati per i sottoinsiemi connessi sonoresource.aws.com/devicegroup1_id, resource.aws.com/devicegroup4_idresource.aws.com/devicegroup8_id, e. resource.aws.com/devicegroup16_id Il numero nel nome dell'devicegroupattributo corrisponde al numero di dispositivi Neuron nel gruppo di topologia connessa. Ad esempio, resource.aws.com/devicegroup1_id identifica un singolo dispositivo Neuron, resource.aws.com/devicegroup4_id identifica un gruppo di 4 dispositivi connessi e resource.aws.com/devicegroup16_id identifica rispettivamente gruppi di 8 resource.aws.com/devicegroup8_id e 16 dispositivi connessi. Scegli matchAttribute quello che corrisponde al dispositivo nella tua richiesta count in modo che i dispositivi allocati appartengano allo stesso gruppo di topologia connessa. Per ulteriori informazioni su questi attributi, consultate la documentazione del driver Neuron DRA.

Configura Logical NeuronCores (LNC)

Il driver Neuron DRA consente la configurazione logica per carico di lavoro tramite parametri. NeuronCore ResourceClaimTemplate Ciò elimina la necessità di preconfigurare LNC nei modelli di avvio di EC2.

L'esempio seguente richiede tutti i dispositivi Neuron con LNC impostato su 1:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

Alloca i dispositivi Neuron con interfacce EFA allineate

Per informazioni, consultare Topology-aware EFA e GPU/Neuron allocazione dei dispositivi.

Installa il plug-in del dispositivo Neuron Kubernetes

Il plug-in per dispositivi Neuron Kubernetes pubblicizza i dispositivi Neuron come e come risorse estese. aws.amazon.com/neuron NeuronCores aws.amazon.com/neuroncore Richiedete i dispositivi Neuron nelle richieste e nei limiti delle risorse del contenitore.

Prerequisiti

Procedura

Verifica i dispositivi Neuron con un test Pod

Puoi verificare che i dispositivi Neuron siano accessibili eseguendo lo neuron-ls strumento in un test Pod.

Per ulteriori informazioni sull'uso dei dispositivi Neuron con Amazon EKS, consulta la documentazione di Neuron per l'esecuzione su EKS.