Spécification des GPU dans une définition de tâche Amazon ECS

Pour utiliser plusieurs GPU sur une instance de conteneur et l'exécution du GPU de Docker, assurez-vous de désigner le nombre de GPU nécessaires à votre conteneur dans la définition de tâche. Vous pouvez spécifier une valeur entière, une valeur décimale pour les GPU fractionnaires ou. ALL Lorsque vous spécifiezALL, tous les GPU de l'instance de conteneur sont alloués au conteneur. Lorsque vous spécifiez une valeur décimale telle que0.25, Amazon ECS place la tâche sur une instance GPU fractionnée qui fournit la capacité GPU requise. Une fois les conteneurs supportant les GPU placés, l'agent de conteneur Amazon ECS épinglera le nombre souhaité de GPU physiques au bon conteneur. Le nombre de GPU réservés pour tous les conteneurs dans une tâche ne peut pas dépasser le nombre de GPU disponibles sur l'instance de conteneur sur laquelle la tâche est lancée. Pour de plus amples informations, veuillez consulter Création d’une définition de tâche Amazon ECS à l’aide de la console.

L'exemple suivant illustre le format JSON pour les exigences de GPU dans une définition de tâche :

{
  "containerDefinitions": [
     {
        ...
        "resourceRequirements" : [
            {
               "type" : "GPU", 
               "value" : "2"
            }
        ],
     },
...
}

Vous pouvez également spécifier ALL comme valeur au lieu d'un nombre pour allouer tous les GPU de l'instance de conteneur au conteneur.

L'exemple suivant illustre la syntaxe d'un conteneur Docker qui spécifie une exigence GPU. Ce conteneur utilise 2 GPU, exécute l'utilitaire nvidia-smi, puis se ferme.

{
  "containerDefinitions": [
    {
      "memory": 80,
      "essential": true,
      "name": "gpu",
      "image": "nvidia/cuda:11.0.3-base",
      "resourceRequirements": [
         {
           "type":"GPU",
           "value": "2"
         }
      ],
      "command": [
        "sh",
        "-c",
        "nvidia-smi"
      ],
      "cpu": 100
    }
  ],
  "family": "example-ecs-gpu"
}

L’exemple de définition de tâche suivant montre un conteneur TensorFlow qui affiche le nombre de GPU disponibles. La tâche s’exécute sur des instances gérées Amazon ECS, nécessite un GPU et utilise une instance g4dn.xlarge.

{
  "family": "tensorflow-gpu",
  "networkMode": "awsvpc",
  "executionRoleArn": "arn:aws:iam::account-id:role/ecsTaskExecutionRole",
  "containerDefinitions": [
    {
      "name": "tensorflow",
      "image": "tensorflow/tensorflow:latest-gpu",
      "essential": true,
      "command": [
        "python",
        "-c",
        "import tensorflow as tf; print('Num GPUs Available: ', len(tf.config.list_physical_devices('GPU')))"
      ],
      "resourceRequirements": [
        {
          "type": "GPU",
          "value": "1"
        }
      ],
      "logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-group": "/ecs/tensorflow-gpu",
          "awslogs-region": "region",
          "awslogs-stream-prefix": "ecs"
        }
      }
    }
  ],
  "requiresCompatibilities": [
    "MANAGED_INSTANCES"
  ],
  "cpu": "4096",
  "memory": "8192",
}

Spécification de GPU fractionnaires

Amazon ECS prend en charge la planification fractionnée des GPU avec les instances Amazon EC2 G6f. Les instances G6f fournissent des fractions partitionnées matériellement d'un NVIDIA L4 GPU, chaque instance exposant une tranche de GPU fixe (1/8 1/4, ou 1/2) avec une mémoire GPU et un calcul dédiés. Pour utiliser un GPU fractionnaire, spécifiez une valeur décimale dans la définition de resourceRequirements votre conteneur :

"resourceRequirements": [
  {
    "type": "GPU",
    "value": "0.25"
  }
]

Les valeurs fractionnaires prises en charge et les types d'instances G6f correspondants sont les suivants :

L'exemple de définition de tâche suivant exécute un conteneur d'inférence léger sur un GPU fractionnaire équipé 1/4 d'un NVIDIA L4 GPU (6 Go de mémoire GPU) :

{
  "family": "fractional-gpu-inference",
  "networkMode": "awsvpc",
  "executionRoleArn": "arn:aws:iam::account-id:role/ecsTaskExecutionRole",
  "containerDefinitions": [
    {
      "name": "inference",
      "image": "nvidia/cuda:12.0.0-base-ubuntu22.04",
      "essential": true,
      "command": ["nvidia-smi"],
      "resourceRequirements": [
        {
          "type": "GPU",
          "value": "0.25"
        }
      ],
      "logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-group": "/ecs/fractional-gpu-inference",
          "awslogs-region": "region",
          "awslogs-stream-prefix": "ecs"
        }
      }
    }
  ],
  "requiresCompatibilities": [
    "MANAGED_INSTANCES"
  ],
  "cpu": "2048",
  "memory": "4096"
}

Considérations relatives au GPU fractionnel