Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Influencez la génération de réponses avec des paramètres d'inférence
Lorsque vous exécutez l'inférence de modèle, vous pouvez ajuster les paramètres d'inférence pour influencer la réponse du modèle. Les paramètres d'inférence peuvent modifier le pool de sorties possibles pris en compte par le modèle lors de la génération, ou ils peuvent limiter la réponse finale. Pour en savoir plus sur les paramètres d'inférence des différents modèles, consultezParamètres de demande d'inférence et champs de réponse pour les modèles de base.
Les catégories de paramètres suivantes sont couramment utilisées dans les différents modèles :
Caractère aléatoire et diversité
Pour une séquence donnée, un modèle détermine une distribution de probabilité d’options pour le jeton suivant de cette séquence. Pour générer chaque jeton dans une sortie, le modèle procède à un échantillonnage à partir de cette distribution. Le caractère aléatoire et la diversité désignent l’ampleur de la variation de la réponse d’un modèle. Vous pouvez contrôler ces facteurs en limitant ou en ajustant la distribution. Les modèles de fondation prennent généralement en charge les paramètres suivants pour contrôler le caractère aléatoire et la diversité de la réponse.
-
Température : affecte la forme de la distribution de probabilité pour la sortie prévue et influence la probabilité que le modèle sélectionne des sorties à faible probabilité.
-
Choisissez une valeur faible pour influencer le modèle afin de sélectionner des sorties à probabilité plus élevée.
-
Choisissez une valeur élevée pour influencer le modèle afin qu’il sélectionne des sorties à faible probabilité.
En termes techniques, la température module la fonction de masse de probabilité pour le jeton suivant. Une température faible renforce la fonction et entraîne des réponses plus déterministes, tandis qu’une température élevée aplatit la fonction et entraîne des réponses plus aléatoires.
-
-
Top K : nombre de candidats les plus probables que le modèle prend en compte pour le jeton suivant.
-
Choisissez une valeur inférieure pour réduire la taille du pool et limiter les options aux sorties les plus probables.
-
Choisissez une valeur plus élevée pour augmenter la taille du pool et permettre au modèle de prendre en compte des sorties moins probables.
Par exemple, si vous définissez une valeur Top K correspondant à 50, le modèle fait son choix parmi les 50 jetons suivants les plus probables dans la séquence.
-
-
Top P : pourcentage de candidats les plus probables que le modèle prend en compte pour le jeton suivant.
-
Choisissez une valeur inférieure pour réduire la taille du pool et limiter les options aux sorties les plus probables.
-
Choisissez une valeur plus élevée pour augmenter la taille du pool et permettre au modèle de prendre en compte des sorties moins probables.
En termes techniques, le modèle calcule la distribution de probabilité cumulée pour l’ensemble de réponses et ne prend en compte que le pourcentage supérieur de la distribution.
Par exemple, si vous définissez une valeur Top P correspondant à 0,8, le modèle fait son choix parmi les 80 % supérieurs de la distribution de probabilité des jetons qui pourraient être les suivants dans la séquence.
-
Le tableau suivant récapitule les effets de ces paramètres.
| Paramètre | Effet d’une valeur faible | Effet d’une valeur élevée |
|---|---|---|
| Température | Augmentation de la probabilité d’obtenir des jetons à probabilité plus élevée Baisse de la probabilité d’obtenir des jetons à faible probabilité |
Augmentation de la probabilité d’obtenir des jetons à faible probabilité Baisse de la probabilité d’obtenir des jetons à probabilité plus élevée |
| Top K | Suppression des jetons à faible probabilité | Autorisation des jetons à faible probabilité |
| Top P | Suppression des jetons à faible probabilité | Autorisation des jetons à faible probabilité |
Pour comprendre ces paramètres, prenons l’exemple d’invite I hear the hoof beats of ". Supposons que le modèle détermine que les trois mots suivants sont candidats pour le jeton suivant. Le modèle attribue également une probabilité à chaque mot.
{ "horses": 0.7, "zebras": 0.2, "unicorns": 0.1 }
-
Si vous définissez une température élevée, la distribution de probabilité est aplatie et les probabilités deviennent moins différentes, ce qui augmente la probabilité de choisir « licornes » et diminue la probabilité de choisir « chevaux ».
-
Si vous définissez Top K sur 2, le modèle ne prend en compte que les deux candidats les plus probables : « chevaux » et « zèbres ».
-
Si vous définissez Top P sur 0,7, le modèle ne prend en compte que les « chevaux », car c'est le seul candidat qui se situe dans les 70 % supérieurs de la distribution de probabilité. Si vous définissez Top P sur 0,9, le modèle prend en compte les « chevaux » et les « zèbres » car ils se situent dans les 90 % supérieurs de la distribution de probabilité.
Longueur
Les modèles de fondation prennent généralement en charge les paramètres qui limitent la longueur de la réponse. Vous trouverez ci-dessous des exemples de paramètres de ce type.
-
Longueur de la réponse : valeur exacte permettant de spécifier le nombre minimum ou maximum de jetons à renvoyer dans la réponse générée.
-
Pénalités : spécifiez le degré de pénalisation des sorties dans une réponse. Voici quelques exemples :
-
Longueur de la réponse.
-
Jetons répétés dans une réponse.
-
Fréquence des jetons dans une réponse.
-
Types de jetons dans une réponse.
-
-
Séquences d’arrêt : spécifiez les séquences de caractères qui empêchent le modèle de générer d’autres jetons. Si le modèle génère une séquence d’arrêt que vous spécifiez, il cessera de générer des jetons après cette séquence.
