Consignes pour la personnalisation des modèles - Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Consignes pour la personnalisation des modèles

Les paramètres idéaux pour la personnalisation d’un modèle dépendent du jeu de données et de la tâche à laquelle le modèle est destiné. Envisagez de tester ces valeurs pour déterminer les paramètres les mieux adaptés à votre cas spécifique. Pour faciliter les choses, vous pouvez évaluer le modèle en exécutant une tâche d’évaluation. Pour de plus amples informations, veuillez consulter Choisissez le modèle le plus performant à l'aide des évaluations d'Amazon Bedrock.

Cette rubrique fournit des directives et des valeurs recommandées comme base de référence pour la personnalisation d'Amazon Titan Modèle Text Premier. Pour les autres modèles, consultez la documentation du fournisseur.

Utilisez les métriques d’entraînement et de validation des fichiers de sortie générés lors de l’envoi d’une tâche d’affinement pour vous aider à ajuster les paramètres. Recherchez ces fichiers dans le compartiment Amazon S3 dans lequel vous avez écrit la sortie, ou utilisez l'GetCustomModelopération.

Amazon Titan Texte Premier

Les directives suivantes s'appliquent aux Titan text-to-textModèle Text Premier. Pour plus d’informations sur les hyperparamètres que vous pouvez définir, consultez Hyperparamètres de personnalisation du modèle de Titan texte Amazon.

Impact sur les autres types de tâches

En général, plus le jeu de données d’entraînement est volumineux, meilleures sont les performances d’une tâche spécifique. Cependant, l’entraînement pour une tâche spécifique peut détériorer les performances du modèle sur différentes tâches, en particulier si vous utilisez de nombreux exemples. Par exemple, si le jeu de données d’entraînement d’une tâche de résumé contient 100 000 exemples, le modèle risque d’être moins performant sur une tâche de classification.

Taille du modèle

En général, plus le modèle est grand, plus la tâche est performante compte tenu des données d’entraînement limitées.

Si vous utilisez le modèle pour une tâche de classification, vous pouvez constater des gains relativement faibles en cas d’affinement avec peu d’exemples (moins de 100 exemples), en particulier si le nombre de classes est relativement faible (moins de 100).

Époques

Nous vous recommandons d’utiliser les métriques suivantes pour déterminer le nombre d’époques à définir :

  1. Précision de sortie de validation : définissez le nombre d’époques sur une valeur qui génère une précision élevée.

  2. Perte d’entraînement et de validation : déterminez le nombre d’époques après lesquelles la perte d’entraînement et de validation devient stable. Cela correspond au moment où le modèle converge. Vous trouverez les valeurs de perte d’entraînement dans les fichiers step_wise_training_metrics.csv et validation_metrics.csv.

Taille de lot

Lorsque vous modifiez la taille du lot, nous vous recommandons de modifier le taux d’apprentissage à l’aide de la formule suivante :

newLearningRate = oldLearningRate x newBatchSize / oldBatchSize

Le modèle Titan Text Premier ne prend actuellement en charge que les mini-lots de 1 pour le peaufinage par le client.

Taux d’apprentissage

Pour obtenir les meilleurs résultats grâce aux fonctionnalités de réglage fin, nous vous recommandons d'utiliser un taux d'apprentissage compris entre 1,00E-07 et 1,00E-05. La valeur par défaut recommandée de 1,00E-06 constitue un bon point de départ. Un taux d'apprentissage plus élevé peut aider la formation à converger plus rapidement, mais cela peut avoir un impact négatif sur les capacités du modèle de base.

Validez vos données d'entraînement à l'aide d'un petit sous-échantillon - Pour valider la qualité de vos données d'entraînement, nous vous recommandons d'expérimenter avec un ensemble de données plus petit (environ 100 échantillons) et de surveiller les mesures de validation avant de soumettre le travail de formation avec un ensemble de données d'entraînement plus important.

Étapes de préparation de l’apprentissage

Nous recommandons la valeur par défaut de 5.