Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Condividi le GPU su Amazon ECS

Molti carichi di lavoro delle GPU, come l'inferenza e il servizio di piccoli modelli, utilizzano solo una frazione dell'elaborazione e della memoria di una GPU. Senza condivisione, il resto di tale capacità rimane inattivo. Con Amazon ECS, puoi condividere un singolo dispositivo fisico NVIDIA GPU su più contenitori in modo da poter raggruppare più carichi di lavoro sullo stesso hardware e ridurre gli sprechi di GPU.

Con Amazon ECS, puoi usare NVIDIA Multi-Process Servizio (MPS) per la condivisione della GPU. MPS è un NVIDIA CUDA funzionalità che esegue più processi contemporaneamente sulla stessa GPU, migliorando l'utilizzo della GPU e riducendo il sovraccarico dovuto al passaggio dal contesto. MPS fornisce il partizionamento della memoria e dell'elaborazione, quindi ogni contenitore ha un limite di memoria configurabile e un limite di elaborazione opzionale.

Amazon ECS gestisce MPS per te. Inizia il MPS daemon sulle istanze GPU, posiziona i contenitori nelle GPU in base alla memoria disponibile e applica i limiti per contenitore.

MPS fornisce la condivisione a livello di software anziché il partizionamento a livello di hardware. Per ulteriori informazioni su MPS, vedi Multi-Process Servizio nel NVIDIA documentazione.

Amazon ECS supporta la condivisione di GPU con MPS su istanze gestite Amazon ECS e Amazon ECS su Amazon EC2.

Quando usare la condivisione tramite GPU

Condivisione GPU con MPS è adatto per:

La condivisione della GPU non è consigliata per:

Come funziona la condivisione delle GPU

La condivisione della GPU viene configurata nella definizione del contenitore di una definizione di attività. In ogni contenitore resourceRequirements, fornisci un sharingStrategy con un valore di memoria GPU invece di specificare un numero intero in value per una GPU dedicata.

Quando Amazon ECS inserisce un'attività che utilizza la condivisione GPU, somma la memoria GPU richiesta da tutti i contenitori GPU presenti nell'attività e cerca una GPU con sufficiente memoria libera. Tutti i contenitori GPU all'interno di una singola attività vengono collocati sulla stessa GPU fisica. Se l'attività richiede 4.000 MiB su due contenitori, Amazon ECS trova una singola GPU con almeno 4.000 MiB di memoria residua e vi colloca entrambi i contenitori.

Più attività possono anche condividere la stessa GPU fisica. Se una GPU dispone di memoria residua sufficiente, Amazon ECS può inserire attività aggiuntive, anche se tali attività provengono da servizi diversi. Un'attività che condivide una GPU e un'attività che utilizza una GPU dedicata possono essere eseguite sulla stessa istanza, su GPU diverse.

Nelle istanze gestite di Amazon ECS, Amazon ECS monitora lo stato delle GPU e MPS demone su ogni istanza. Se Amazon ECS rileva un guasto hardware della GPU o un MPS un daemon failure, scarica l'istanza e la sostituisce. Per ulteriori informazioni sulla riparazione automatica della GPU, vedi Riparazione automatica della GPU per le istanze gestite da Amazon ECS.

Configurare la condivisione della GPU

Per condividere una GPU, aggiungi un sharingStrategy oggetto al resourceRequirements di ogni contenitore GPU nella definizione dell'attività. Il sharingStrategy oggetto contiene un nvidiaMps oggetto con i seguenti campi. Per ulteriori informazioni su resourceRequirements, consultare Requisiti per le risorse.

Amazon ECS colloca le attività in base solo alla memoria GPU, quindi non tiene conto del calcolo quando prende decisioni di posizionamento.

Puoi impostare la strategia di condivisione nell'editor di definizioni delle attività della console Amazon ECS o con JSON, il AWS CLI o l'API.

Amazon ECS imposta le seguenti variabili di ambiente riservate in ogni contenitore che condivide una GPU. Non impostare queste variabili nella definizione del contenitore.

Il seguente esempio di definizione delle attività esegue due contenitori di inferenza che condividono una GPU con MPS, insieme a un contenitore sidecar non GPU. Ogni contenitore GPU richiede una quantità diversa di memoria e calcolo della GPU.

Nel seguente esempio, sostituisci account-id con il tuo AWS ID dell'account.

{
  "family": "mps-inference",
  "networkMode": "awsvpc",
  "executionRoleArn": "arn:aws:iam::account-id:role/ecsTaskExecutionRole",
  "containerDefinitions": [
    {
      "name": "model-a",
      "image": "nvidia/cuda:12.0.0-base-ubuntu22.04",
      "essential": true,
      "resourceRequirements": [
        {
          "type": "GPU",
          "sharingStrategy": {
            "nvidiaMps": {
              "memory": 12288,
              "maxComputePercent": 50
            }
          }
        }
      ]
    },
    {
      "name": "model-b",
      "image": "nvidia/cuda:12.0.0-base-ubuntu22.04",
      "essential": true,
      "resourceRequirements": [
        {
          "type": "GPU",
          "sharingStrategy": {
            "nvidiaMps": {
              "memory": 8192,
              "maxComputePercent": 25
            }
          }
        }
      ]
    },
    {
      "name": "log-router",
      "image": "public.ecr.aws/aws-observability/aws-for-fluent-bit:stable",
      "essential": false
    }
  ],
  "requiresCompatibilities": [
    "MANAGED_INSTANCES"
  ],
  "cpu": "4096",
  "memory": "8192"
}

Regole di convalida

Amazon ECS applica le seguenti regole alle configurazioni di condivisione delle GPU:

Configura la condivisione della GPU per tipo di avvio

Con Amazon ECS Managed Instances, Amazon ECS seleziona e gestisce le istanze GPU per te. Non è necessaria alcuna configurazione oltre alla definizione delle attività.

Con Amazon ECS su Amazon EC2, avvia un programma supportato NVIDIA Istanza GPU con Amazon ECS AL2023 GPU-optimized SCOPO. Condivisione della GPU con MPS su Amazon ECS su Amazon EC2 richiede la versione dell'agente contenitore Amazon ECS 1.107.0 o versione successiva e Amazon ECS AL2023 GPU-optimized versione AMI 20261019 o successivo. Dopo la registrazione dell'istanza nel cluster, la configurazione della definizione delle attività è la stessa delle istanze gestite di Amazon ECS.

Considerazioni

Monitora la condivisione della GPU

Puoi confermare che una GPU è condivisa e monitorarne l'utilizzo con l'API Amazon ECS e Amazon CloudWatch metriche.

Conferma che una GPU è condivisa

Per confermare che una GPU è condivisa, chiama DescribeContainerInstances API. La risposta include gpuDevices campo con la modalità di condivisione, il numero di contenitori e la memoria residua per ciascuna GPU. Di seguito è riportata una risposta di esempio.

{
  "containerInstances": [
    {
      "ec2InstanceId": "i-0c74b75400ab4228d",
      "runningTasksCount": 1,
      "gpuDevices": [
        {
          "gpuId": "GPU-70d3bdaf-8635-81e0-8e44-446248a92c83",
          "sharingMode": "NVIDIA_MPS",
          "totalMemoryInMiB": 22587,
          "remainingMemoryInMiB": 16587,
          "containerCount": 2
        }
      ]
    }
  ]
}

Visualizza la configurazione per attività

Per visualizzare la configurazione di condivisione per ogni attività, chiama DescribeTasks API. Di ogni contenitore gpuSharingStrategy mostra i limiti di memoria e di elaborazione e i contenitori che condividono una GPU elencano lo stesso valore in gpuIds. Di seguito è riportata una risposta di esempio.

{
  "tasks": [
    {
      "lastStatus": "RUNNING",
      "launchType": "MANAGED_INSTANCES",
      "containers": [
        {
          "name": "mps-a",
          "gpuIds": ["GPU-70d3bdaf-8635-81e0-8e44-446248a92c83"],
          "gpuSharingStrategy": { "nvidiaMps": { "memory": 4000, "maxComputePercent": 50 } }
        },
        {
          "name": "mps-b",
          "gpuIds": ["GPU-70d3bdaf-8635-81e0-8e44-446248a92c83"],
          "gpuSharingStrategy": { "nvidiaMps": { "memory": 2000, "maxComputePercent": 50 } }
        }
      ]
    }
  ]
}

Tieni traccia dell'utilizzo della GPU