Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Commencez à déployer des outils de Machine Learning sur EKS
Pour vous lancer dans le Machine LearningEKS, commencez par choisir l'un de ces modèles prescriptifs pour préparer rapidement un EKS cluster, un logiciel et un matériel de machine learning à exécuter des charges de travail de machine learning. La plupart de ces modèles sont basés sur des plans Terraform disponibles sur le site Data on Amazon
-
GPUsou des instances Neuron sont nécessaires pour exécuter ces procédures. Le manque de disponibilité de ces ressources peut entraîner l'échec de ces procédures lors de la création du cluster ou du dimensionnement automatique des nœuds.
-
Les neurones SDK (instances basées sur Tranium et Inferentia) peuvent économiser de l'argent et sont plus disponibles que. NVIDIA GPUs Ainsi, lorsque vos charges de travail le permettent, nous vous recommandons d'envisager d'utiliser Neutron pour vos charges de travail liées au Machine Learning (voir Welcome to AWS
Neuron). -
Certaines des expériences de démarrage ici nécessitent que vous obteniez des données via votre propre compte Hugging
Face.
Pour commencer, choisissez parmi les modèles suivants conçus pour vous aider à configurer l'infrastructure nécessaire à l'exécution de vos charges de travail de Machine Learning :
-
JupyterHub sur EKS
: Explorez le JupyterHub plan , qui présente le Time Slicing et ses MIG fonctionnalités, ainsi que les configurations multi-locataires avec profils. C'est idéal pour déployer des JupyterHub plateformes à grande échelle surEKS. -
Grands modèles de langage AWS sur Neuron et RayServe
: utilisez AWS Neuron pour exécuter de grands modèles de langage (LLMs) sur Amazon EKS et les accélérateurs AWS Trainium et AWS Inferentia. Voir Serving LLMs with RayServe et v LLM on AWS Neuron pour obtenir des instructions sur la configuration d'une plate-forme pour effectuer des demandes d'inférence, avec des composants tels que : -
AWS Boîte à SDK outils Neuron pour le deep learning
-
AWS Accélérateurs Inferentia et Trainium
-
v LLM - modèle de langage à longueur variable (voir le site de documentation v LLM
) -
RayServe bibliothèque de serveurs de modèles évolutifs (voir le site Ray Serve : Scalable and Programmable Serving
) -
Modèle de langage Llama-3, en utilisant votre propre compte Hugging Face
. -
Observabilité avec un AWS CloudWatch moniteur neuronal
-
Ouvrez WebUI
-
-
Modèles linguistiques étendus sur NVIDIA et Triton
: déployez plusieurs grands modèles linguistiques (LLMs) sur Amazon EKS et NVIDIAGPUs. Voir Déploiement de plusieurs grands modèles linguistiques avec NVIDIA Triton Server et v LLM pour obtenir des instructions sur la configuration d'une plate-forme pour effectuer des demandes d'inférence, avec des composants tels que : -
NVIDIAServeur d'inférence Triton (voir le site du serveur d'inférence Triton
) GitHub -
v LLM - modèle de langage à longueur variable (voir le site de documentation v LLM
) -
Deux modèles linguistiques : mistralai/Mistral-7B-Instruct-v0.2 and meta-llama/Llama -2-7b-chat-hf, en utilisant votre propre compte Hugging Face
.
-
Poursuivre avec ML activé EKS
En plus de choisir parmi les plans décrits sur cette page, il existe d'autres moyens de procéder au ML sur la EKS documentation, si vous le souhaitez. Par exemple, vous pouvez :
-
Essayez les didacticiels pour ML on EKS — Exécutez d'autres end-to-end didacticiels pour créer et exécuter vos propres modèles de Machine Learning surEKS. Consultez Essayez des didacticiels pour déployer des charges de travail et des plateformes de Machine Learning sur EKS.
Pour améliorer votre travail avec ML onEKS, reportez-vous à ce qui suit :
-
Préparation au ML — Découvrez comment vous préparer au ML EKS grâce à des fonctionnalités telles que la personnalisation AMIs et les GPU réservations. Consultez Préparez-vous à créer un EKS cluster pour le Machine Learning.
