Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Définitions de tâches Amazon ECS pour AWS Charges de travail liées à l'apprentissage automatique des neurones

Vous pouvez utiliser les instances Amazon EC2 Trn1, Amazon EC2 Trn2, Amazon EC2Inf1 (Inf1 n'est pris en charge que sur le type de lancement EC2) et les instances Amazon EC2 Inf2 avec vos clusters pour les charges de travail d'apprentissage automatique.

Les instances Amazon EC2 Trn1 et Trn2 sont alimentées par des puces Trainium.AWS Ces instances fournissent une formation performante et peu coûteuse pour machine learning dans le cloud. Vous pouvez entraîner un modèle d'inférence d'apprentissage automatique à l'aide d'un framework d'apprentissage automatique avec AWS Neuron sur une instance Trn1 ou Trn2. Vous pouvez ensuite exécuter le modèle sur une instance Inf1 (Inf1 n'est pris en charge que sur le type de lancement EC2) ou sur une instance Inf2 pour utiliser l'accélération des puces Inferentia. AWS

Les instances Inf1 et Inf2 d'Amazon EC2 sont alimentées par des puces AWS Inferentia. Elles fournissent des performances élevées et les inférences de coûts les plus bas dans le cloud.

Les modèles de machine learning sont déployés sur des conteneurs à l'aide d'AWS Neuron, qui est un kit de développement logiciel (SDK) spécialisé. Le SDK comprend un compilateur, un environnement d'exécution et des outils de profilage qui optimisent les performances d'apprentissage automatique des puces d'apprentissage AWS automatique. AWS Neuron prend en charge les frameworks d'apprentissage automatique populaires tels que TensorFlow, PyTorch, et Apache MXNet.

Considérations

Avant de commencer à déployer Neuron sur Amazon ECS, prenez en compte ce qui suit :

Allocation d'appareils Neuron gérés

Avec Managed Instances, vous pouvez utiliser le resourceRequirements paramètre de votre définition de conteneur pour demander des appareils Neuron. Amazon ECS découvre automatiquement les appareils Neuron sur l'instance, les affecte à votre tâche et configure le conteneur de manière à ce qu'il donne accès à tous les appareils Neuron de l'instance. La tâche nécessitant un accès exclusif à tous les appareils, une seule tâche Neuron est exécutée par instance.

Sélection d'instances de neurones

Pour sélectionner des types d' Neuron-enabled instances pour les charges de travail de vos instances gérées, utilisez l'instanceRequirementsobjet dans le modèle de lancement du fournisseur de capacité. Vous pouvez utiliser les attributs suivants pour sélectionner Neuron-enabled des instances :

L'exemple suivant utilise allowedInstanceTypes :

{
    "instanceRequirements": {
        "allowedInstanceTypes": ["inf*", "trn*"]
    }
}

Définition de tâche

Pour demander des appareils Neuron dans votre définition de tâche, ajoutez une resourceRequirements entrée avec le type NeuronDevice et la valeurALL. Cela donne au conteneur un accès exclusif à tous les appareils Neuron de l'instance.

Les contraintes suivantes s’appliquent :

Une fois votre tâche lancée, vous pouvez vérifier l'attribution de l'appareil Neuron en appelant l'opération DescribeTasks API. La réponse inclut un neuronDeviceIds champ sur chaque conteneur qui indique les identifiants des appareils Neuron assignés. Vous pouvez également appeler l'opération DescribeContainerInstances API pour afficher NEURON_DEVICES les remainingResources champs registeredResources et de l'instance de conteneur.

Pour un exemple de définition de tâche, voirExemples de définitions de tâches Neuron.

Spécification manuelle du dispositif Neuron

Avec cette approche, vous spécifiez manuellement les chemins des appareils AWS Trainium ou AWS Inferentia dans votre définition de tâche à l'aide du linuxParameters.devices paramètre. Cette approche fonctionne à la fois sur le type de lancement EC2 et sur les instances gérées.

Une seule tâche d'inférence ou d'entraînement d'inférence peut être exécutée sur chaque puce AWS Trainium ou AWS Inferentia. Vous pouvez exécuter autant de tâches qu'il y a de puces sur l'instance en affectant différents appareils à chaque tâche.

Pour le type de lancement EC2, vous pouvez utiliser les attributs du type d'instance lorsque vous configurez les contraintes de placement des tâches afin de garantir que la tâche est lancée sur le type d'instance que vous spécifiez. Pour de plus amples informations, veuillez consulter Comment Amazon ECS place les tâches sur des instances de conteneur.

Exigences relatives à la définition de tâche

La définition de tâche doit être spécifique au type d'instance unique. Vous devez configurer un conteneur pour utiliser des appareils AWS Trainium ou AWS Inferentia spécifiques disponibles sur l'instance de conteneur hôte. Vous pouvez effectuer cette opération à l'aide du paramètre linuxParameters. Le tableau suivant détaille les cartes et les puces qui sont spécifiques à chaque type d'instance.

Pour un exemple de définition de tâche, voirExemples de définitions de tâches Neuron.

Instances gérées

Les instances gérées utilisent automatiquement une AMI qui inclut le pilote Neuron. Aucune configuration d'AMI supplémentaire n'est requise.

Type de lancement EC2

Amazon ECS fournit une AMI optimisée pour Amazon ECS basée sur Amazon Linux 2023 pour les charges de travail AWS Trainium et AWS Inferentia. Il est livré avec les pilotes AWS Neuron et le runtime pour Docker. Cette AMI facilite l'exécution de charges de travail d'inférence de machine learning sur Amazon ECS.

Nous vous recommandons d'utiliser l'AMI ECS-optimized Amazon Amazon Linux 2023 (Neuron) lors du lancement de vos instances Amazon EC2 Trn1, Inf1 et Inf2.

Vous pouvez récupérer l'AMI Amazon ECS-optimized Amazon Linux 2023 (Neuron) actuelle à l' AWS CLI aide de la commande suivante.

aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2023/neuron/recommended