Ressources pour utiliser Hugging Face avec Amazon AI SageMaker - Amazon SageMaker AI
EntraînementInférenceQue souhaitez-vous faire ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Ressources pour utiliser Hugging Face avec Amazon AI SageMaker

Amazon SageMaker AI permet aux clients de s'entraîner, de peaufiner et d'exécuter des inférences à l'aide des modèles Hugging Face pour le traitement du langage naturel (NLP) sur l'IA. SageMaker Vous pouvez utiliser Hugging Face tant pour l'entraînement que pour l'inférence. La section suivante fournit des informations sur les modèles Hugging Face et inclut du matériel de référence que vous pouvez utiliser pour apprendre à utiliser Hugging SageMaker Face avec l'IA.

Cette fonctionnalité est disponible via le développement de AWS Deep Learning Containers Hugging Face. Ces conteneurs incluent les transformateurs Hugging Face, les tokéniseurs et la bibliothèque de jeux de données, qui vous permet d'utiliser ces ressources pour vos tâches d'entraînement et d'inférence. Pour obtenir la liste des images Deep Learning Containers disponibles, veuillez consulter Available Deep Learning Containers Images (Images Deep Learning Containers disponibles). Ces images Deep Learning Containers sont conservées et régulièrement mises à jour avec des correctifs de sécurité.

Pour utiliser les conteneurs Hugging Face Deep Learning avec le SDK SageMaker Python à des fins de formation, consultez le SageMaker Hugging Face AI Estimator. Avec le Hugging Face Estimator, vous pouvez utiliser les modèles Hugging Face comme n'importe quel autre estimateur basé sur l'IA. SageMaker Cependant, l'utilisation du SDK SageMaker Python est facultative. Vous pouvez également orchestrer votre utilisation des Hugging Face Deep Learning Containers avec le et. AWS CLI AWS SDK for Python (Boto3)

Pour de plus amples informations sur Hugging Face et les modèles disponibles, veuillez consulter la Documentation Hugging Face.

Entraînement

Pour organiser des entraînements, utilisez l'un des milliers de modèles disponibles dans Hugging Face et adaptez-les à votre cas d'utilisation grâce à une formation supplémentaire. Avec l' SageMaker IA, vous pouvez utiliser une formation standard ou tirer parti de la formation parallèle basée sur les données distribuées et les modèles basés sur l'SageMaker IA.

Comme pour les autres tâches de SageMaker formation utilisant du code personnalisé, vous pouvez capturer vos propres métriques en transmettant une définition de métriques au SDK SageMaker Python. Pour un exemple, voir Définition des métriques d'entraînement (SDK SageMaker Python). Vous pouvez accéder aux métriques capturées en utilisant CloudWatchet en tant que Pandas DataFrame en utilisant TrainingJobAnalyticscette méthode. Une fois votre modèle entraîné et affiné, vous pouvez l'utiliser comme n'importe quel autre modèle pour exécuter des tâches d'inférence.

Comment organiser un entraînement avec l'estimateur Hugging Face

Vous pouvez implémenter le Hugging Face Estimator pour les tâches de formation à l'aide du SDK SageMaker AI Python. Le SDK SageMaker Python est une bibliothèque open source pour la formation et le déploiement de modèles d'apprentissage automatique sur l' SageMaker IA. Pour plus d'informations sur le Hugging Face Estimator, consultez la documentation du SDK SageMaker AI Python.

Avec le SDK SageMaker Python, vous pouvez exécuter des tâches de formation à l'aide de l'estimateur Hugging Face dans les environnements suivants :

  • Amazon SageMaker Studio Classic : Studio Classic est le premier environnement de développement (IDE) entièrement intégré pour l'apprentissage automatique (ML). Studio Classic fournit une interface visuelle unique basée sur le Web dans laquelle vous pouvez effectuer toutes les étapes de développement du ML nécessaires pour :

    • préparer

    • build

    • entraînez-vous et réglez

    • déployer et gérer des modèles

    Pour plus d'informations sur l'utilisation des blocs-notes Jupyter dans Studio Classic, consultez. Utiliser les blocs-notes Amazon SageMaker Studio Classic

  • SageMakerInstances de bloc-notes : une instance de SageMaker bloc-notes Amazon est une instance de calcul d'apprentissage automatique (ML) exécutant l'application Jupyter Notebook. Cette application vous permet d'exécuter des blocs-notes Jupyter dans votre instance de bloc-notes pour :

    • préparer et traiter les données

    • écrire du code pour entraîner des modèles

    • déployer des modèles sur un hébergement SageMaker AI

    • testez ou validez vos modèles sans les fonctionnalités de SageMaker Studio telles que le débogueur, la surveillance des modèles et un IDE basé sur le Web

  • Localement : si vous êtes connecté AWS et que vous disposez des autorisations d' SageMaker IA appropriées, vous pouvez utiliser le SDK SageMaker Python localement. Avec une utilisation locale, vous pouvez lancer des tâches de formation et d'inférence à distance pour Hugging Face in SageMaker AI on. AWS Cela fonctionne sur votre machine locale, ainsi que sur d'autres AWS services dotés d'un SDK SageMaker Python connecté et des autorisations appropriées.

Inférence

À des fins d'inférence, vous pouvez utiliser votre modèle Hugging Face entraîné ou l'un des modèles Hugging Face préentraînés pour déployer une tâche d'inférence avec l'IA. SageMaker Grâce à cette collaboration, vous n'avez besoin que d'une seule ligne de code pour déployer à la fois vos modèles entraînés et vos modèles préentraînés avec l' SageMaker IA. Vous pouvez également exécuter des tâches d'inférence sans écrire aucun code d'inférence personnalisé. Avec un code d'inférence personnalisé, vous pouvez personnaliser la logique d'inférence en fournissant votre propre script Python.

Déploiement d'une tâche d'inférence à l'aide des Deep Learning Containers Hugging Face

Deux options s'offrent à vous pour exécuter l'inférence avec l' SageMaker IA. Vous pouvez exécuter l'inférence à l'aide d'un modèle que vous avez entraîné ou déployer un modèle Hugging Face pré-entraîné.

  • Exécutez l'inférence avec votre modèle entraîné : vous disposez de deux options pour exécuter l'inférence avec votre propre modèle entraîné :

    • Exécutez une inférence avec un modèle que vous avez entraîné à l'aide d'un modèle Hugging Face existant avec les AI SageMaker Hugging Face Deep Learning Containers.

    • Apportez votre propre modèle Hugging Face existant et déployez-le à SageMaker l'aide de l'IA.

    Lorsque vous exécutez une inférence avec un modèle que vous avez entraîné avec l' SageMaker AI Hugging Face Estimator, vous pouvez déployer le modèle immédiatement après la fin de l'entraînement. Vous pouvez également télécharger le modèle entraîné dans un compartiment Amazon S3 et l'ingérer lorsque vous exécuterez l'inférence ultérieurement.

    Si vous apportez votre propre modèle Hugging Face existant, vous devez télécharger le modèle entraîné dans un compartiment Amazon S3. Vous ingérez ensuite ce compartiment lors de l'exécution de l'inférence, comme indiqué dans Déployez vos transformateurs Hugging Face pour un exemple d'inférence.

  • Exécutez l'inférence avec un HuggingFace modèle préentraîné : vous pouvez utiliser l'un des milliers de modèles Hugging Face préentraînés pour exécuter vos tâches d'inférence sans formation supplémentaire. Pour exécuter l'inférence, sélectionnez le modèle préentraîné dans la liste des modèles Hugging Face, comme indiqué dans Déployer des transformateurs Hugging Face préentraînés pour un exemple d'inférence.

Que souhaitez-vous faire ?

Les blocs-notes suivants du référentiel Hugging Face Notebooks montrent comment utiliser les conteneurs Hugging Face Deep Learning SageMaker avec l'IA dans différents cas d'utilisation.

Je souhaite former et déployer un modèle de classification de texte à l'aide de Hugging Face SageMaker in AI PyTorch with.

Pour un exemple de bloc-notes Jupyter, consultez la démo de mise PyTorch en route.

Je souhaite former et déployer un modèle de classification de texte à l'aide de Hugging Face SageMaker in AI TensorFlow with.

Pour un exemple de bloc-notes Jupyter, consultez l'exemple TensorFlow Getting Started.

Je souhaite organiser une formation distribuée avec le parallélisme des données à l'aide de Hugging Face SageMaker et AI Distributed.

Pour obtenir un exemple de bloc-notes Jupyter, veuillez consulter l'exemple Entraînement distribué.

Je souhaite organiser une formation distribuée avec le parallélisme des modèles à l'aide de Hugging Face SageMaker et AI Distributed.

Pour obtenir un exemple de bloc-notes Jupyter, veuillez consulter l'exemple Parallélisme de modèles.

Je souhaite utiliser une instance ponctuelle pour entraîner et déployer un modèle utilisant Hugging Face SageMaker dans l'IA.

Pour obtenir un exemple de bloc-notes Jupyter, veuillez consulter l'exemple Instances Spot.

Je souhaite capturer des métriques personnalisées et utiliser le point de contrôle SageMaker AI lors de l'entraînement d'un modèle de classification de texte à l'aide de Hugging Face in AI. SageMaker

Pour obtenir un exemple de bloc-notes Jupyter, veuillez consulter l'exemple Entraînement avec des métriques personnalisées.

Je souhaite former un TensorFlow modèle distribué de réponses aux questions à l'aide de Hugging Face en IA. SageMaker

Pour un exemple de Jupyter Notebook, consultez l'exemple de TensorFlow formation distribuée.

Je souhaite entraîner un modèle de synthèse distribué à l'aide de Hugging Face en IA. SageMaker

Pour obtenir un exemple de bloc-notes Jupyter, veuillez consulter l'exemple Entraînement avec synthèse distribuée.

Je souhaite entraîner un modèle de classification d'images à l'aide de Hugging Face SageMaker in AI.

Pour obtenir un exemple de bloc-notes Jupyter, veuillez consulter l'exemple Entraînement avec Vision Transformer.

Je souhaite déployer mon modèle Hugging Face entraîné SageMaker dans l'IA.

Pour obtenir un exemple de bloc-notes Jupyter, veuillez consulter l'exemple Déploiement de vos transformateurs Hugging Face pour l'inférence.

Je souhaite déployer un modèle Hugging Face pré-entraîné en IA. SageMaker

Pour obtenir un exemple de bloc-notes Jupyter, veuillez consulter l'exemple Déploiement de transformateurs Hugging Face pré-entraînés pour l'inférence.