Ajustez les modèles de base - Amazon SageMaker
Avant de commencerOptimisation d'un modèle de fondationMettre en œuvre des modèles de base affinés

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Ajustez les modèles de base

Les modèles de base auxquels vous pouvez accéder via Amazon SageMaker Canvas peuvent vous aider à effectuer toute une série de tâches générales. Toutefois, si vous avez un cas d'utilisation spécifique et que vous souhaitez personnaliser les réponses en fonction de vos propres données, vous pouvez affiner un modèle de base.

Pour affiner un modèle de base, vous fournissez un jeu de données composé d'exemples d'invites et de réponses de modèles. Ensuite, vous entraînez le modèle de base sur les données. Enfin, le modèle de base affiné est en mesure de vous apporter des réponses plus spécifiques.

La liste suivante contient les modèles de base que vous pouvez affiner dans Canvas :

  • Titan Express

  • Falcon-7B

  • Falcon-7B-Instruct

  • Falcon-40B-Instruct

  • Falcon-40B

  • Flan-T5-Large

  • Flan-T5-XL

  • Flan-T5-Xxl

  • MPT-7B

  • MPT-7B - Instruire

Vous pouvez accéder à des informations plus détaillées sur chaque modèle de base dans l'application Canvas tout en peaufinant un modèle. Pour de plus amples informations, veuillez consulter Ajustez le modèle.

Cette rubrique explique comment affiner les modèles de base dans Canvas.

Avant de commencer

Avant de peaufiner un modèle de base, assurez-vous de disposer des autorisations pour les eady-to-use modèles R dans Canvas et d'un rôle d' AWS Identity and Access Management exécution qui entretient une relation de confiance avec Amazon Bedrock, ce qui permet à Amazon Bedrock d'assumer votre rôle tout en peaufinant les modèles de base.

Lorsque vous configurez ou modifiez votre SageMaker domaine Amazon, vous devez 1) activer les autorisations de configuration des eady-to-use modèles Canvas R et 2) créer ou spécifier un rôle Amazon Bedrock, qui est un rôle d'IAMexécution associé à une relation SageMaker de confiance avec Amazon Bedrock. Pour plus d'informations sur la configuration de ces paramètres, consultezConditions préalables à la configuration d'Amazon Canvas SageMaker .

Vous pouvez configurer le rôle Amazon Bedrock manuellement si vous préférez utiliser votre propre rôle IAM d'exécution (au lieu de laisser le soin d'en SageMaker créer un en votre nom). Pour plus d'informations sur la configuration de la relation de confiance de votre propre rôle d'IAMexécution avec Amazon Bedrock, consultezAutoriser les utilisateurs à utiliser Amazon Bedrock et les fonctionnalités d'IA générative dans Canvas.

Vous devez également disposer d'un jeu de données formaté pour affiner les grands modèles de langage ()LLMs. Voici une liste des exigences relatives à votre ensemble de données :

  • Le jeu de données doit être tabulaire et contenir au moins deux colonnes de données texte : une colonne d'entrée (qui contient des exemples d'invite au modèle) et une colonne de sortie (qui contient des exemples de réponses du modèle).

    Voici un exemple :

    Entrée Sortie

    Quelles sont vos conditions de livraison ?

    Nous offrons la livraison gratuite pour toutes les commandes de plus de 50$. Les commandes de moins de 50$ sont soumises à des frais d'expédition de 5,99$.

    Comment puis-je retourner un article ?

    Pour retourner un article, rendez-vous dans notre centre de retours et suivez les instructions. Vous devez fournir votre numéro de commande et le motif du retour.

    Je rencontre des difficultés avec mon produit. Que puis-je faire ?

    Veuillez contacter notre service clientèle et nous serons heureux de vous aider à résoudre le problème.

  • Nous recommandons que le jeu de données contienne au moins 100 paires de texte (lignes contenant les éléments d'entrée et de sortie correspondants). Cela garantit que le modèle de base dispose de suffisamment de données pour être affiné et augmente la précision de ses réponses.

  • Chaque élément d'entrée et de sortie doit contenir un maximum de 512 caractères. Tout ce qui est plus long est réduit à 512 caractères lors de la mise au point du modèle de base.

Lorsque vous peaufinez un modèle Amazon Bedrock, vous devez respecter les quotas Amazon Bedrock. Pour plus d'informations, consultez la section Quotas de personnalisation des modèles dans le guide de l'utilisateur d'Amazon Bedrock.

Pour plus d'informations sur les exigences et les limites générales des jeux de données dans Canvas, consultezCréation d'un jeu de données.

Optimisation d'un modèle de fondation

Vous pouvez affiner un modèle de base en utilisant l'une des méthodes suivantes dans l'application Canvas :

  • Lorsque vous discutez de la génération, de l'extraction et de la synthèse du contenu avec un modèle de base, cliquez sur l'icône Affiner le modèle ( Magnifying glass icon with a plus sign, indicating a search or zoom-in function. ).

  • Lors d'une discussion avec un modèle de base, si vous avez régénéré la réponse deux fois ou plus, Canvas vous offre la possibilité d'affiner le modèle. La capture d'écran suivante vous montre à quoi cela ressemble.

    Capture d'écran de l'option Fine-tune Foundation model présentée dans un chat.

  • Sur la page Mes modèles, vous pouvez créer un nouveau modèle en choisissant Nouveau modèle, puis en sélectionnant Affiner le modèle de base.

  • Sur la page d'accueil eady-to-use des modèles R, vous pouvez choisir Créer votre propre modèle, puis dans la boîte de dialogue Créer un nouveau modèle, sélectionner Fine-tune foundation model.

  • Lorsque vous parcourez vos ensembles de données dans l'onglet Data Wrangler, vous pouvez sélectionner un ensemble de données et choisir Create a model. Choisissez ensuite le modèle de fondation Fine-tune.

Une fois que vous avez commencé à peaufiner un modèle, procédez comme suit :

Sélectionnez un jeu de données

Dans l'onglet Sélectionner qui permet de peaufiner un modèle, vous choisissez les données sur lesquelles vous souhaitez entraîner le modèle de base.

Sélectionnez un ensemble de données existant ou créez un nouveau jeu de données répondant aux exigences répertoriées dans la Avant de commencer section. Pour plus d'informations sur la création d'un jeu de données, consultezCréation d'un jeu de données.

Lorsque vous avez sélectionné ou créé un jeu de données et que vous êtes prêt à passer à autre chose, choisissez Sélectionner un ensemble de données.

Ajustez le modèle

Après avoir sélectionné vos données, vous êtes maintenant prêt à commencer l'entraînement et à peaufiner le modèle.

Dans l'onglet Affiner, procédez comme suit :

  1. (Facultatif) Choisissez En savoir plus sur nos modèles de base pour accéder à plus d'informations sur chaque modèle et vous aider à choisir le ou les modèles de base à déployer.

  2. Pour sélectionner jusqu'à 3 modèles de base, ouvrez le menu déroulant et consultez jusqu'à 3 modèles de base (jusqu'à 2 JumpStart modèles et 1 modèle Amazon Bedrock) que vous souhaitez peaufiner pendant le stage de formation. En affinant plusieurs modèles de base, vous pouvez comparer leurs performances et finalement choisir celui qui convient le mieux à votre cas d'utilisation comme modèle par défaut. Pour plus d'informations sur les modèles par défaut, consultezAfficher les candidats modèles dans le classement des modèles.

  3. Pour la colonne Select Input, sélectionnez la colonne de données texte de votre jeu de données contenant les exemples d'instructions du modèle.

  4. Pour la colonne Select Output, sélectionnez la colonne de données texte de votre jeu de données contenant les exemples de réponses du modèle.

  5. (Facultatif) Pour configurer les paramètres avancés de la tâche de formation, choisissez Configurer le modèle. Pour plus d'informations sur les paramètres avancés de modélisme, consultezConfigurations avancées de modélisme.

    Dans la fenêtre contextuelle Configurer le modèle, procédez comme suit :

    1. Pour les hyperparamètres, vous pouvez ajuster le nombre d'époques, la taille du lot, le taux d'apprentissage et les étapes d'échauffement du taux d'apprentissage pour chaque modèle sélectionné. Pour plus d'informations sur ces paramètres, consultez la section Hyperparamètres de la JumpStart documentation.

    2. Pour le partage des données, vous pouvez spécifier des pourcentages pour répartir vos données entre le jeu d'apprentissage et le jeu de validation.

    3. Pour Max Job Runtime, vous pouvez définir la durée maximale pendant laquelle Canvas exécute le job de génération. Cette fonctionnalité n'est disponible que pour les modèles de JumpStart base.

    4. Après avoir configuré les paramètres, choisissez Enregistrer.

  6. Choisissez Fine-tune pour commencer à entraîner les modèles de base que vous avez sélectionnés.

Une fois le travail de mise au point commencé, vous pouvez quitter la page. Lorsque le modèle est indiqué « Prêt » sur la page Mes modèles, il est prêt à être utilisé et vous pouvez désormais analyser les performances de votre modèle de base affiné.

Analyser le modèle de base affiné

Dans l'onglet Analyser de votre modèle de base affiné, vous pouvez voir les performances du modèle.

L'onglet Vue d'ensemble de cette page affiche les scores de perplexité et de perte, ainsi que des analyses permettant de visualiser l'amélioration du modèle au fil du temps pendant l'entraînement. La capture d'écran suivante montre l'onglet Vue d'ensemble.

L'onglet Analyser d'un modèle de base affiné dans Canvas, montrant les courbes de perplexité et de perte.

Sur cette page, vous pouvez voir les visualisations suivantes :

  • La courbe de perplexité mesure dans quelle mesure le modèle prédit le mot suivant d'une séquence ou dans quelle mesure le résultat du modèle est grammatical. Idéalement, à mesure que le modèle s'améliore pendant l'entraînement, le score diminue et donne lieu à une courbe qui s'abaisse et s'aplatit au fil du temps.

  • La courbe de perte quantifie la différence entre la sortie correcte et la sortie prévue du modèle. Une courbe de perte qui diminue et s'aplatit au fil du temps indique que le modèle améliore sa capacité à établir des prévisions précises.

L'onglet Mesures avancées affiche les hyperparamètres et les mesures supplémentaires pour votre modèle. Cela ressemble à la capture d'écran suivante :

Capture d'écran de l'onglet Mesures avancées d'un modèle de base affiné dans Canvas.

L'onglet Mesures avancées contient les informations suivantes :

  • La section Explicabilité contient les hyperparamètres, qui sont les valeurs définies avant le travail pour guider le réglage précis du modèle. Si vous n'avez pas spécifié d'hyperparamètres personnalisés dans les paramètres avancés du modèle de la Ajustez le modèle section, Canvas sélectionne les hyperparamètres par défaut pour vous.

    Pour les JumpStart modèles, vous pouvez également consulter la métrique avancée ROUGE(Recall-Oriented Understudy for Gisting Evaluation), qui évalue la qualité des résumés générés par le modèle. Il mesure dans quelle mesure le modèle peut résumer les principaux points d'un passage.

  • La section Artefacts fournit des liens vers les artefacts générés pendant le travail de réglage. Vous pouvez accéder aux données de formation et de validation enregistrées dans Amazon S3, ainsi qu'au lien vers le rapport d'évaluation du modèle (pour en savoir plus, consultez le paragraphe suivant).

Pour obtenir davantage d'informations sur l'évaluation des modèles, vous pouvez télécharger un rapport généré à l'aide de SageMaker Clarify, une fonctionnalité qui peut vous aider à détecter les biais dans votre modèle et vos données. Commencez par générer le rapport en choisissant Générer le rapport d'évaluation au bas de la page. Une fois le rapport généré, vous pouvez télécharger le rapport complet en choisissant Télécharger le rapport ou en retournant à la section Artefacts.

Vous pouvez également accéder à un bloc-notes Jupyter qui vous montre comment reproduire votre travail de réglage précis dans du code Python. Vous pouvez l'utiliser pour répliquer ou apporter des modifications programmatiques à votre tâche de mise au point ou pour mieux comprendre comment Canvas affine votre modèle. Pour en savoir plus sur les modèles de blocs-notes et sur la façon d'y accéder, voirTéléchargez un modèle de bloc-notes.

Pour plus d'informations sur la façon d'interpréter les informations contenues dans l'onglet Analyser de votre modèle de base affiné, consultez la rubriqueÉvaluez les performances de votre modèle dans Amazon SageMaker Canvas.

Après avoir analysé les onglets Aperçu et Mesures avancées, vous pouvez également choisir d'ouvrir le classement des modèles, qui affiche la liste des modèles de base entraînés pendant la construction. Le modèle présentant le score de perte le plus faible est considéré comme le modèle le plus performant et est sélectionné comme modèle par défaut, c'est-à-dire le modèle dont vous pouvez voir l'analyse dans l'onglet Analyser. Vous pouvez uniquement tester et déployer le modèle par défaut. Pour plus d'informations sur le classement des modèles et sur la façon de modifier le modèle par défaut, consultezAfficher les candidats modèles dans le classement des modèles.

Testez un modèle de base affiné dans un chat

Après avoir analysé les performances d'un modèle de base affiné, vous souhaiterez peut-être le tester ou comparer ses réponses avec le modèle de base. Vous pouvez tester un modèle de base affiné dans un chat grâce à la fonctionnalité Générer, extraire et résumer le contenu.

Démarrez une discussion avec un modèle affiné en choisissant l'une des méthodes suivantes :

  • Dans l'onglet Analyser du modèle affiné, choisissez Test in R eady-to-use foundation models.

  • Sur la page eady-to-use des modèles Canvas R, choisissez Générer, extraire et résumer le contenu. Choisissez ensuite Nouveau chat et sélectionnez la version du modèle que vous souhaitez tester.

Le modèle démarre dans un chat, et vous pouvez interagir avec lui comme n'importe quel autre modèle de base. Vous pouvez ajouter d'autres modèles au chat et comparer leurs résultats. Pour plus d'informations sur les fonctionnalités des chats, consultezUtilisation de l'IA générative avec des modèles de fondation.

Mettre en œuvre des modèles de base affinés

Après avoir affiné votre modèle dans Canvas, vous pouvez effectuer les opérations suivantes :

Important

Vous ne pouvez enregistrer et déployer que des modèles de JumpStart base affinés, et non des modèles basés sur Amazon Bedrock.