Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Ressources pour utiliser Hugging Face avec Amazon AI SageMaker
Amazon SageMaker AI permet aux clients de s'entraîner, d'affiner et d'exécuter des inférences à l'aide de modèles Hugging Face pour le traitement du langage naturel (NLP) sur l'IA. SageMaker Vous pouvez utiliser Hugging Face tant pour l’entraînement que pour l’inférence. La section suivante fournit des informations sur les modèles Hugging Face et inclut des documents de référence que vous pouvez utiliser pour apprendre à utiliser Hugging Face avec SageMaker l'IA.
Cette fonctionnalité est disponible via le développement de AWS Deep Learning Containers Hugging Face. Ces conteneurs incluent les transformateurs Hugging Face, les tokéniseurs et la bibliothèque de jeux de données, qui vous permet d'utiliser ces ressources pour vos tâches d'entraînement et d'inférence. Pour obtenir la liste des images Deep Learning Containers disponibles, consultez Images Deep Learning Containers disponibles
Pour utiliser les conteneurs Hugging Face Deep Learning avec le SDK SageMaker Python à des fins de formation, consultez Hugging Face AI. SageMaker ModelTrainer
Pour plus d’informations sur Hugging Face et les modèles disponibles, consultez la documentation Hugging Face
Entraînement
Pour exécuter l’entraînement, utilisez l’un des milliers de modèles disponibles dans Hugging Face et optimisez-le pour votre cas d’utilisation avec un entraînement supplémentaire. Avec SageMaker l'IA, vous pouvez utiliser une formation standard ou tirer parti de la formation SageMaker AI Distributed Data et Model Parallel.
Comme pour les autres tâches de SageMaker formation utilisant un code personnalisé, vous pouvez capturer vos propres métriques en transmettant une définition de métriques au SDK SageMaker Python. Pour un exemple, consultez la section Définition des mesures d'entraînement (SDK SageMaker Python). Vous pouvez accéder aux métriques capturées en utilisant CloudWatch et en tant que Pandas à DataFrame l'aide de TrainingJobAnalytics
Comment organiser un entraînement avec le Hugging Face ModelTrainer
Vous pouvez implémenter le Hugging Face ModelTrainer pour les tâches de formation à l'aide du SDK SageMaker AI Python. Le SDK SageMaker Python est une bibliothèque open source permettant de former et de déployer des modèles d'apprentissage automatique sur l' SageMaker IA. Pour plus d'informations sur le Hugging Face ModelTrainer, consultez la documentation du SDK SageMaker AI Python.
Avec le SDK SageMaker Python, vous pouvez exécuter des tâches de formation à l'aide de Hugging Face ModelTrainer dans les environnements suivants :
-
Amazon SageMaker Studio Classic : Studio Classic est le premier environnement de développement (IDE) entièrement intégré pour l'apprentissage automatique (ML). Studio Classic fournit une interface visuelle Web unique où vous pouvez effectuer toutes les étapes de développement ML requises pour :
-
préparer
-
build
-
entraîner et régler ;
-
déployer et gérer des modèles.
Pour en savoir plus sur l’utilisation des blocs-notes Jupyter dans Studio Classic, consultez Utiliser les blocs-notes Amazon SageMaker Studio Classic.
-
-
SageMakerInstances de bloc-notes : une instance de SageMaker bloc-notes Amazon est une instance de calcul d'apprentissage automatique (ML) qui exécute l'application Jupyter Notebook. Cette application vous permet d’exécuter des blocs-notes Jupyter dans votre instance de bloc-notes pour :
-
préparer et traiter les données ;
-
écrire du code pour entraîner des modèles ;
-
déployer des modèles pour l'hébergement SageMaker IA
-
testez ou validez vos modèles sans les fonctionnalités de SageMaker Studio telles que le débogueur, la surveillance des modèles et un environnement de développement intégré basé sur le Web
-
-
Localement : si vous êtes connecté à l' SageMaker IA AWS et que vous disposez des autorisations appropriées, vous pouvez utiliser le SDK SageMaker Python localement. Avec une utilisation locale, vous pouvez lancer des tâches de formation et d'inférence à distance pour Hugging Face in SageMaker AI on. AWS Cela fonctionne sur votre machine locale, ainsi que sur d'autres AWS services dotés d'un SDK SageMaker Python connecté et des autorisations appropriées.
Inférence
À des fins d'inférence, vous pouvez utiliser votre modèle Hugging Face entraîné ou l'un des modèles Hugging Face préentraînés pour déployer une tâche d'inférence avec l'IA. SageMaker Grâce à cette collaboration, vous n'avez besoin que d'une seule ligne de code pour déployer à la fois vos modèles entraînés et vos modèles pré-entraînés avec l' SageMaker IA. Vous pouvez également exécuter des tâches d’inférence sans écrire aucun code d’inférence personnalisé. Avec un code d'inférence personnalisé, vous pouvez personnaliser la logique d'inférence en fournissant votre propre script Python.
Déploiement d’une tâche d’inférence à l’aide des conteneurs de deep learning Hugging Face
Deux options s'offrent à vous pour exécuter l'inférence avec l' SageMaker IA. Vous pouvez exécuter l’inférence à l’aide d’un modèle que vous avez entraîné ou déployer un modèle Hugging Face pré-entraîné.
-
Exécution de l’inférence avec votre modèle entraîné : deux options s’offrent à vous pour exécuter l’inférence avec votre propre modèle entraîné :
-
Exécutez l'inférence avec un modèle que vous avez entraîné à l'aide d'un modèle Hugging Face existant avec les conteneurs d'apprentissage profond SageMaker AI Hugging Face.
-
Apportez votre propre modèle Hugging Face existant et déployez-le à l'aide de l' SageMaker IA.
Lorsque vous exécutez l'inférence avec un modèle que vous avez entraîné avec SageMaker AI Hugging Face ModelTrainer, vous pouvez déployer le modèle immédiatement après la fin de l'entraînement. Vous pouvez également charger le modèle entraîné dans un compartiment Amazon S3 et l’ingérer lors d’une exécution ultérieure de l’inférence.
Si vous apportez votre propre modèle Hugging Face existant, vous devez charger le modèle entraîné dans un compartiment Amazon S3. Vous ingérez ensuite ce compartiment lors de l’exécution de l’inférence, comme indiqué dans l’exemple de déploiement de vos transformeurs Hugging Face pour l’inférence
. -
-
Exécutez l'inférence à l'aide d'un HuggingFace modèle pré-entraîné : vous pouvez utiliser l'un des milliers de modèles Hugging Face pré-entraînés pour exécuter vos tâches d'inférence sans aucune formation supplémentaire. Pour exécuter l’inférence, sélectionnez le modèle pré-entraîné dans la liste des modèles Hugging Face
, comme indiqué dans l’exemple de déploiement des transformeurs Hugging Face pré-entraînés pour l’inférence .
Que souhaitez-vous faire ?
Les blocs-notes suivants du référentiel de blocs-notes Hugging Face montrent comment utiliser les conteneurs d'apprentissage profond Hugging Face avec l' SageMaker IA dans divers cas d'utilisation.
- Je souhaite former et déployer un modèle de classification de texte à l'aide de Hugging Face in SageMaker AI avec PyTorch.
-
Pour un exemple de Jupyter Notebook, consultez la démo PyTorch Getting Started.
- Je souhaite former et déployer un modèle de classification de texte à l'aide de Hugging Face in SageMaker AI avec TensorFlow.
-
Pour un exemple de Jupyter Notebook, consultez l'exemple TensorFlow Getting Started.
- Je souhaite organiser une formation distribuée avec parallélisme des données à l'aide de Hugging Face et SageMaker AI Distributed.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Entraînement distribué
. - Je souhaite organiser une formation distribuée avec parallélisme de modèles à l'aide de Hugging Face et SageMaker AI Distributed.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Parallélisme des modèles
. - Je souhaite utiliser une instance ponctuelle pour entraîner et déployer un modèle à l'aide de Hugging Face in SageMaker AI.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Instances Spot
. - Je souhaite capturer des métriques personnalisées et utiliser SageMaker AI Checkpointing lors de la formation d'un modèle de classification de texte à l'aide de Hugging Face in SageMaker AI.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Entraînement avec des métriques personnalisées
. - Je souhaite entraîner un TensorFlow modèle distribué de réponses aux questions en utilisant Hugging Face dans l'IA. SageMaker
-
Pour un exemple de Jupyter Notebook, consultez l'exemple de TensorFlow formation distribuée.
- Je souhaite entraîner un modèle de résumé distribué à l'aide de Hugging Face in SageMaker AI.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Entraînement avec synthèse distribuée
. - Je souhaite entraîner un modèle de classification d'images à l'aide de Hugging Face in SageMaker AI.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple d’entraînement de transformeur de vision
. - Je souhaite déployer mon modèle Hugging Face entraîné dans l' SageMaker IA.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Déploiement de vos transformeurs Hugging Face pour l’inférence
. - Je souhaite déployer un modèle Hugging Face pré-entraîné dans SageMaker l'IA.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Déploiement de transformeurs Hugging Face pré-entraînés pour l’inférence
.
