Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Entraînez un modèle avec Amazon SageMaker
Amazon SageMaker Training est un service d'apprentissage automatique (ML) entièrement géré SageMaker qui vous permet de former efficacement un large éventail de modèles de machine learning à grande échelle. La conteneurisation des charges de travail de machine learning et la capacité de gérer AWS les ressources informatiques sont au cœur des métiers de l' SageMaker IA. La plateforme de SageMaker formation prend en charge le gros du travail associé à la mise en place et à la gestion de l'infrastructure pour les charges de travail de formation au ML. Avec SageMaker Training, vous pouvez vous concentrer sur le développement, la formation et la mise au point de votre modèle. Cette page présente trois méthodes recommandées pour commencer à entraîner un modèle SageMaker, suivies d'autres options que vous pouvez envisager.
Astuce
Pour plus d'informations sur les modèles de base de formation pour l'IA générative, consultez Utiliser les modèles de JumpStart base de l' SageMaker IA dans Amazon SageMaker Studio.
Choisir une fonctionnalité dans Amazon SageMaker Training
Il existe trois principaux cas d'utilisation pour la formation de modèles de machine learning au sein de l' SageMaker IA. Cette section décrit ces cas d'utilisation, ainsi que les fonctionnalités d' SageMaker intelligence artificielle que nous recommandons pour chaque cas d'utilisation.
Que vous entraîniez des modèles d'apprentissage profond complexes ou que vous implémentiez des algorithmes d'apprentissage automatique plus petits, SageMaker Training fournit des solutions rationalisées et rentables qui répondent aux exigences de vos cas d'utilisation.
Cas d’utilisation
Voici les principaux cas d'utilisation de la formation de modèles ML au sein de l' SageMaker IA.
-
Cas d'utilisation 1 : développer un modèle d'apprentissage automatique dans un environnement à code faible ou nul.
-
Cas d'utilisation 2 : utilisez le code pour développer des modèles d'apprentissage automatique offrant plus de flexibilité et de contrôle.
-
Cas d'utilisation 3 : Développez des modèles d'apprentissage automatique à grande échelle avec un maximum de flexibilité et de contrôle.
Fonctionnalités recommandées
Le tableau suivant décrit trois scénarios courants de formation de modèles de machine learning et les options correspondantes pour démarrer avec SageMaker Training.
| Descripteur | Cas d'utilisation 1 | Cas d'utilisation 2 | Cas d'utilisation 3 |
|---|---|---|---|
| SageMaker Fonctionnalité d'IA | Créez un modèle à l'aide d'Amazon SageMaker Canvas. | Entraînez un modèle à l'aide de l'un des algorithmes ML intégrés à l'SageMaker IA, tels que XGBoostles modèles spécifiques aux tâches, à l' SageMaker JumpStartaide du SDK SageMaker Python. | Entraînez un modèle à grande échelle avec une flexibilité maximale en utilisant le mode script |
| Description | Apportez vos données. SageMaker L'IA aide à gérer la création de modèles de machine learning et à configurer l'infrastructure et les ressources de formation. |
Apportez vos données et choisissez l'un des algorithmes de machine learning intégrés fournis par l' SageMaker IA. Configurez les hyperparamètres du modèle, les métriques de sortie et les paramètres d'infrastructure de base à l'aide du SDK SageMaker Python. La plateforme SageMaker de formation permet de fournir l'infrastructure et les ressources de formation. |
Développez votre propre code ML et apportez-le sous forme de script ou d'ensemble de scripts à l' SageMaker IA. Pour en savoir plus, consultez la section Informatique distribuée avec SageMaker les meilleures pratiques. De plus, vous pouvez apporter votre propre conteneur Docker. La plateforme de SageMaker formation permet de fournir l'infrastructure et les ressources de formation à grande échelle en fonction de vos paramètres personnalisés. |
| Optimisé pour |
Développement de modèles à faible ou sans code et piloté par l'interface utilisateur avec expérimentation rapide avec un ensemble de données d'entraînement. Lorsque vous créez un modèle personnalisé, un algorithme est automatiquement sélectionné en fonction de vos données. Pour les options de personnalisation avancées telles que la sélection d'algorithmes, voir Configurations avancées de modélisation. |
Modèles de machine learning dotés d'une personnalisation de haut niveau pour les hyperparamètres, les paramètres d'infrastructure et la possibilité d'utiliser directement des frameworks de machine learning et des scripts de point d'entrée pour plus de flexibilité. Utilisez des algorithmes intégrés, des modèles pré-entraînés et des JumpStart modèles via le SDK Amazon SageMaker Python |
Charges de travail de formation ML à grande échelle, nécessitant plusieurs instances et une flexibilité maximale. Découvrez l'informatique distribuée avec SageMaker les meilleures pratiques. SageMaker L'IA utilise les images Docker pour héberger la formation et le service de tous les modèles. Vous pouvez utiliser n'importe quelle SageMaker IA ou n'importe quel algorithme externe et utiliser des conteneurs Docker pour créer des modèles. |
| Considérations |
Flexibilité minimale pour personnaliser le modèle fourni par Amazon SageMaker Canvas. |
Le SDK SageMaker Python fournit une interface simplifiée et moins d'options de configuration par rapport à l'API d' SageMaker entraînement de bas niveau. |
Nécessite une connaissance de AWS l'infrastructure et des options de formation distribuées. Voir également Créer votre propre conteneur de formation à l'aide de la boîte à outils de SageMaker formation. |
| Environnement recommandé | Utilisez Amazon SageMaker Canvas. Pour savoir comment le configurer, voir Commencer à utiliser SageMaker Canvas. | Utilisez l'SageMaker IA JupyterLab dans Amazon SageMaker Studio. Pour savoir comment le configurer, consultez Lancer Amazon SageMaker Studio. | À utiliser SageMaker JupyterLabdans Amazon SageMaker Studio. Pour savoir comment le configurer, consultez Lancer Amazon SageMaker Studio. |
Options supplémentaires
SageMaker L'IA propose les options supplémentaires suivantes pour l'entraînement des modèles de machine learning.
SageMaker Fonctionnalités d'IA offrant des capacités de formation
-
SageMaker JumpStart: SageMaker JumpStart donne accès au hub de modèles publics d' SageMaker IA qui contient les derniers modèles de base propriétaires et accessibles au public (FMs). Vous pouvez affiner, évaluer et déployer ces modèles dans Amazon SageMaker Studio. SageMaker JumpStart rationalise le processus d'exploitation des modèles de base pour vos cas d'utilisation de l'IA générative et vous permet de créer des hubs de modèles privés pour utiliser les modèles de base tout en renforçant les barrières de gouvernance et en garantissant que votre organisation ne peut accéder qu'aux modèles approuvés. Pour commencer SageMaker JumpStart, consultez SageMaker JumpStart Foundation Models.
-
SageMaker HyperPod: SageMaker HyperPod est un service de cluster persistant destiné aux cas d'utilisation nécessitant des clusters résilients pour des charges de travail massives liées au machine learning (ML) et pour le développement de modèles de state-of-the-art base (FMs). Il accélère le développement de tels modèles en supprimant les tâches indifférenciées liées à la création et à la maintenance de clusters de calcul à grande échelle alimentés par des milliers d'accélérateurs tels que AWS Trainium ou les unités de traitement graphique NVIDIA A100 et H100 (). GPUs Vous pouvez utiliser un logiciel de gestion de charge de travail tel que Slurm on. HyperPod
Autres fonctionnalités de la SageMaker formation
-
Réglage des hyperparamètres : cette fonctionnalité d' SageMaker intelligence artificielle permet de définir un ensemble d'hyperparamètres pour un modèle et de lancer de nombreuses tâches de formation sur un ensemble de données. En fonction des valeurs des hyperparamètres, les performances d'entraînement du modèle peuvent varier. Cette fonctionnalité fournit l'ensemble d'hyperparamètres le plus performant dans la plage d'hyperparamètres définie pour la recherche.
-
Formation distribuée : préentraînez ou peaufinez les FMs frameworks conçus avec PyTorch NVIDIA CUDA et d'autres PyTorch frameworks basés. Pour utiliser efficacement les instances GPU, utilisez les bibliothèques de formation distribuées SageMaker basées sur l'IA qui proposent des opérations de communication collectives et diverses techniques de parallélisme de modèles, telles que le parallélisme expert et le parallélisme de données partagées, optimisées pour l'infrastructure. AWS
-
Fonctionnalités d'observabilité : utilisez les fonctionnalités de profilage et de débogage de SageMaker Training pour mieux comprendre les charges de travail de formation des modèles, les performances des modèles et l'utilisation des ressources. Pour en savoir plus, consultez Déboguer et améliorer les performances du modèle et Profiler et optimiser les performances de calcul.
-
Options d'instance économiques et efficaces : pour optimiser les coûts de calcul et l'efficacité du provisionnement des instances de formation, utilisez des clusters hétérogènes, des instances Spot gérées ou des pools dynamiques gérés.
