Aidez à améliorer cette page
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page sur qui se trouve dans le volet droit de chaque page.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Pour vous lancer dans le Machine Learning sur EKS, commencez par choisir parmi ces modèles prescriptifs afin de préparer rapidement un cluster EKS ainsi que des logiciels et du matériel ML à exécuter des charges de travail ML. La plupart de ces modèles sont basés sur des plans Terraform disponibles sur le site Data on Amazon
-
GPUs ou des instances Neuron sont nécessaires pour exécuter ces procédures. Le manque de disponibilité de ces ressources peut entraîner l'échec de ces procédures lors de la création du cluster ou du dimensionnement automatique des nœuds.
-
Le SDK Neuron (instances basées sur Tranium et Inferentia) permet d'économiser de l'argent et est plus disponible que NVIDIA. GPUs Ainsi, lorsque vos charges de travail le permettent, nous vous recommandons d'envisager d'utiliser Neuron pour vos charges de travail liées au Machine Learning (voir Bienvenue AWS
sur Neuron). -
Certaines des expériences de démarrage ici nécessitent que vous obteniez des données via votre propre compte Hugging
Face.
Pour commencer, choisissez parmi les modèles suivants conçus pour vous aider à configurer l'infrastructure nécessaire à l'exécution de vos charges de travail de Machine Learning :
-
JupyterHub sur EKS
: découvrez le JupyterHub plan , qui présente les fonctionnalités Time Slicing et MIG, ainsi que les configurations multi-locataires avec profils. C'est idéal pour déployer des JupyterHub plateformes à grande échelle sur EKS. -
Modèles de langage étendus AWS sur Neuron et RayServe
: utilisez AWS Neuron pour exécuter de grands modèles de langage (LLMs) sur Amazon EKS et les accélérateurs AWS Trainium et AWS Inferentia. Voir Serving LLMs with RayServe et vLLM on AWS Neuron pour obtenir des instructions sur la configuration d'une plate-forme pour effectuer des demandes d'inférence, avec des composants tels que : -
AWS Boîte à outils Neuron SDK pour le deep learning
-
AWS Accélérateurs Inferentia et Trainium
-
vLLM - modèle de langage à longueur variable (voir le site de documentation vLLM)
-
RayServe bibliothèque de serveurs de modèles évolutifs (voir le site Ray Serve : Scalable and Programmable Serving
) -
Modèle de langage Llama-3, en utilisant votre propre compte Hugging Face
. -
Observabilité avec un AWS CloudWatch moniteur neuronal
-
Ouvrez WebUI
-
-
Modèles linguistiques étendus sur NVIDIA et Triton
: déployez plusieurs grands modèles linguistiques (LLMs) sur Amazon EKS et NVIDIA GPUs. Voir Déploiement de plusieurs grands modèles linguistiques avec NVIDIA Triton Server et vLLM pour obtenir des instructions sur la configuration d'une plate-forme pour effectuer des demandes d'inférence, avec des composants tels que : -
Serveur d'inférence NVIDIA Triton (voir le site du serveur d'inférence Triton
) GitHub -
vLLM - modèle de langage à longueur variable (voir le site de documentation vLLM)
-
Deux modèles linguistiques : mistralai/Mistral-7B-Instruct-v0.2 and meta-llama/Llama -2-7b-chat-hf, en utilisant votre propre compte Hugging Face
.
-
Poursuivre avec ML sur EKS
En plus de choisir parmi les plans décrits sur cette page, il existe d'autres moyens de parcourir la documentation ML on EKS si vous le souhaitez. Par exemple, vous pouvez :
-
Essayez les didacticiels de ML sur EKS — Exécutez d'autres end-to-end didacticiels pour créer et exécuter vos propres modèles de Machine Learning sur EKS. Consultez Essayez des didacticiels pour déployer des charges de travail de Machine Learning sur EKS.
Pour améliorer votre travail avec le ML sur EKS, reportez-vous à ce qui suit :
-
Préparation au ML — Découvrez comment vous préparer au ML sur EKS grâce à des fonctionnalités telles que les réservations personnalisées AMIs et les réservations de GPU. Consultez Préparation aux clusters ML.
