Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Partagez des GPU sur Amazon ECS

De nombreuses charges de travail GPU, telles que l'inférence et la diffusion de petits modèles, n'utilisent qu'une fraction du calcul et de la mémoire d'un GPU. Sans partage, le reste de cette capacité reste inactif. Avec Amazon ECS, vous pouvez partager un seul document physique NVIDIA GPU sur plusieurs conteneurs, ce qui vous permet de regrouper davantage de charges de travail sur le même matériel et de réduire le gaspillage de GPU.

Avec Amazon ECS, vous pouvez utiliser NVIDIA Multi-Process Service (MPS) pour le partage de GPU. MPS est un NVIDIA CUDA fonctionnalité qui exécute plusieurs processus simultanément sur le même GPU, ce qui améliore l'utilisation du GPU et réduit les frais liés au changement de contexte. MPS fournit un partitionnement de la mémoire et du calcul, de sorte que chaque conteneur bénéficie d'une limite de mémoire configurable et d'un plafond de calcul optionnel.

Amazon ECS gère MPS pour toi. Il démarre le MPS démon sur les instances GPU, place les conteneurs sur les GPU en fonction de la mémoire disponible et applique des limites par conteneur.

MPS fournit un partage au niveau logiciel plutôt qu'un partitionnement au niveau matériel. Pour plus d'informations sur MPS, voir Multi-Process Service dans le NVIDIA documentation.

Amazon ECS prend en charge le partage de GPU avec MPS sur les instances gérées Amazon ECS et Amazon ECS sur Amazon EC2.

Quand utiliser le partage GPU

Partage de GPU avec MPS convient parfaitement pour :

Le partage de GPU n'est pas recommandé pour :

Comment fonctionne le partage de GPU

Vous configurez le partage GPU dans la définition du conteneur d'une définition de tâche. Dans chaque contenant resourceRequirements, vous fournissez un sharingStrategy avec une valeur de mémoire GPU au lieu de spécifier un entier dans value pour un GPU dédié.

Lorsqu'Amazon ECS place une tâche qui utilise le partage GPU, il additionne la mémoire GPU demandée par tous les conteneurs GPU de la tâche et recherche un GPU disposant de suffisamment de mémoire libre. Tous les conteneurs GPU d'une même tâche sont placés sur le même GPU physique. Si la tâche demande 4 000 Mo sur deux conteneurs, Amazon ECS trouve un seul GPU avec au moins 4 000 Mo de mémoire restante et y place les deux conteneurs.

Plusieurs tâches peuvent également partager le même GPU physique. Tant qu'il reste suffisamment de mémoire sur un GPU, Amazon ECS peut lui confier des tâches supplémentaires, même si ces tâches proviennent de différents services. Une tâche qui partage un GPU et une tâche qui utilise un GPU dédié peuvent être exécutées sur la même instance, sur des GPU différents.

Sur les instances gérées Amazon ECS, Amazon ECS surveille l'état des GPU et MPS démon sur chaque instance. Si Amazon ECS détecte une défaillance matérielle du processeur graphique ou MPS en cas de défaillance du démon, il vide l'instance et la remplace. Pour plus d'informations sur la réparation automatique des GPU, consultez Réparation automatique du processeur graphique pour les instances gérées par Amazon ECS.

Configurer le partage du GPU

Pour partager un GPU, ajoutez sharingStrategy s'opposer à resourceRequirements de chaque conteneur GPU dans votre définition de tâche. Le sharingStrategy l'objet contient un nvidiaMps objet avec les champs suivants. Pour plus d’informations sur resourceRequirements, consultez Besoins en ressources.

Amazon ECS place les tâches uniquement en fonction de la mémoire du GPU, de sorte qu'il ne prend pas en compte le calcul lors de la prise de décisions de placement.

Vous pouvez définir la stratégie de partage dans l'éditeur de définition des tâches de la console Amazon ECS, ou avec JSON, AWS CLI, ou l'API.

Amazon ECS définit les variables d'environnement réservées suivantes dans chaque conteneur qui partage un GPU. Ne définissez pas ces variables dans la définition de votre conteneur.

L'exemple de définition de tâche suivant exécute deux conteneurs d'inférence qui partagent un GPU avec MPS, ainsi qu'un conteneur sidecar non GPU. Chaque conteneur GPU demande une quantité différente de mémoire GPU et de calcul.

Dans l'exemple suivant, remplacez account-id avec votre AWS ID de compte.

{
  "family": "mps-inference",
  "networkMode": "awsvpc",
  "executionRoleArn": "arn:aws:iam::account-id:role/ecsTaskExecutionRole",
  "containerDefinitions": [
    {
      "name": "model-a",
      "image": "nvidia/cuda:12.0.0-base-ubuntu22.04",
      "essential": true,
      "resourceRequirements": [
        {
          "type": "GPU",
          "sharingStrategy": {
            "nvidiaMps": {
              "memory": 12288,
              "maxComputePercent": 50
            }
          }
        }
      ]
    },
    {
      "name": "model-b",
      "image": "nvidia/cuda:12.0.0-base-ubuntu22.04",
      "essential": true,
      "resourceRequirements": [
        {
          "type": "GPU",
          "sharingStrategy": {
            "nvidiaMps": {
              "memory": 8192,
              "maxComputePercent": 25
            }
          }
        }
      ]
    },
    {
      "name": "log-router",
      "image": "public.ecr.aws/aws-observability/aws-for-fluent-bit:stable",
      "essential": false
    }
  ],
  "requiresCompatibilities": [
    "MANAGED_INSTANCES"
  ],
  "cpu": "4096",
  "memory": "8192"
}

Règles de validation

Amazon ECS applique les règles suivantes aux configurations de partage de GPU :

Configurer le partage GPU par type de lancement

Avec Amazon ECS Managed Instances, Amazon ECS sélectionne et gère les instances GPU pour vous. Vous n'avez besoin d'aucune configuration au-delà de la définition de la tâche.

Avec Amazon ECS sur Amazon EC2, lancez un NVIDIA Instance GPU avec Amazon ECS AL2023 GPU-optimized AMI. Partage de GPU avec MPS sur Amazon ECS sur Amazon EC2 nécessite la version agent de conteneur Amazon ECS 1.107.0 ou version ultérieure et Amazon ECS AL2023 GPU-optimized Version AMI 20261019 ou plus tard. Une fois l'instance enregistrée auprès de votre cluster, la configuration de définition des tâches est la même que pour les instances gérées Amazon ECS.

Considérations

Surveillez le partage du GPU

Vous pouvez confirmer qu'un GPU est partagé et suivre son utilisation à l'aide de l'API Amazon ECS et d'Amazon CloudWatch métriques.

Confirmez qu'un GPU est partagé

Pour confirmer qu'un GPU est partagé, appelez le DescribeContainerInstances API. La réponse inclut gpuDevices champ avec le mode de partage, le nombre de conteneurs et la mémoire restante pour chaque GPU. Voici un exemple de réponse.

{
  "containerInstances": [
    {
      "ec2InstanceId": "i-0c74b75400ab4228d",
      "runningTasksCount": 1,
      "gpuDevices": [
        {
          "gpuId": "GPU-70d3bdaf-8635-81e0-8e44-446248a92c83",
          "sharingMode": "NVIDIA_MPS",
          "totalMemoryInMiB": 22587,
          "remainingMemoryInMiB": 16587,
          "containerCount": 2
        }
      ]
    }
  ]
}

Afficher la configuration par tâche

Pour afficher la configuration de partage pour chaque tâche, appelez le DescribeTasks API. Chaque contenant gpuSharingStrategy affiche ses limites de mémoire et de calcul, et les conteneurs qui partagent un GPU répertorient la même valeur dans gpuIds. Voici un exemple de réponse.

{
  "tasks": [
    {
      "lastStatus": "RUNNING",
      "launchType": "MANAGED_INSTANCES",
      "containers": [
        {
          "name": "mps-a",
          "gpuIds": ["GPU-70d3bdaf-8635-81e0-8e44-446248a92c83"],
          "gpuSharingStrategy": { "nvidiaMps": { "memory": 4000, "maxComputePercent": 50 } }
        },
        {
          "name": "mps-b",
          "gpuIds": ["GPU-70d3bdaf-8635-81e0-8e44-446248a92c83"],
          "gpuSharingStrategy": { "nvidiaMps": { "memory": 2000, "maxComputePercent": 50 } }
        }
      ]
    }
  ]
}

Suivez l'utilisation du GPU