Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Exécution de l’inférence d’un modèle
L’inférence désigne le processus de génération d’une sortie à partir d’une entrée fournie à un modèle. Les modèles de fondation utilisent la probabilité pour construire les mots d’une séquence. À partir d’une entrée, le modèle prédit une séquence probable de jetons qui suit et renvoie cette séquence en sortie. Amazon Bedrock vous permet d’exécuter l’inférence dans le modèle de fondation de votre choix. Lorsque vous exécutez une inférence, vous devez fournir les entrées suivantes.
-
Invite : entrée fournie au modèle afin qu’il génère une réponse. Pour en savoir plus sur la création d’invites, consultez Directives d’ingénierie de requête.
-
Paramètres d’inférence : ensemble de valeurs qui peuvent être ajustées pour limiter ou influencer la réponse du modèle. Pour en savoir plus sur les paramètres d’inférence, consultez Paramètres d’inférence et Paramètres d’inférence pour les modèles de fondation.
Amazon Bedrock propose une suite de modèles de base que vous pouvez utiliser pour générer des résultats selon les modalités suivantes. Pour voir la modalité de soutien par modèle de fondation, reportez-vous àModèles de fondation pris en charge dans Amazon Bedrock.
| Modalité de sortie | Description | Exemples de cas d’utilisation |
|---|---|---|
| Texte | Fournir une saisie de texte et générer différents types de texte | Chat, brainstorming question-and-answering, synthèse, génération de code, création de tableaux, formatage des données, réécriture |
| Image | Fournir du texte ou saisir des images et générer ou modifier des images | Génération d'images, retouche d'image, variation d'image |
| Intégrations | Fournissez du texte, des images ou à la fois du texte et des images et générez un vecteur de valeurs numériques représentant l'entrée. Le vecteur de sortie peut être comparé à d'autres vecteurs d'intégration afin de déterminer la similitude sémantique (pour le texte) ou visuelle (pour les images). | Recherche de texte et d'images, requête, catégorisation, recommandations, personnalisation, création de base de connaissances |
Vous pouvez exécuter l’inférence des modèles via les approches suivantes.
-
Utilisez l’un des terrains de jeu pour exécuter l’inférence dans une interface graphique conviviale.
-
Envoyez une InvokeModelou une InvokeModelWithResponseStreamdemande.
-
Préparez un jeu de données d’invites avec les configurations souhaitées et exécutez une inférence par lots avec une demande
CreateModelInvocationJob. -
Les fonctionnalités Amazon Bedrock suivantes utilisent l'inférence de modèles comme étape d'une orchestration plus large. Reportez-vous à ces sections pour plus de détails.
-
Configurez une base de connaissances et envoyez une RetrieveAndGeneratedemande.
-
Configurez un agent et envoyez une InvokeAgentdemande.
-
Vous pouvez exécuter l’inférence avec des modèles de base, des modèles personnalisés ou des modèles provisionnés. Pour exécuter l’inférence sur un modèle personnalisé, achetez d’abord le débit provisionné correspondant (pour plus d’informations, consultez Débit provisionné pour Amazon Bedrock).
Utilisez ces méthodes pour tester les réponses du modèle de fondation avec différentes invites et différents paramètres d’inférence. Une fois que vous avez suffisamment exploré ces méthodes, vous pouvez configurer votre application pour exécuter l’inférence des modèles en appelant ces API.
Sélectionnez une rubrique pour en savoir plus sur l’exécution de l’inférence de modèles par le biais de cette méthode. Pour en savoir plus sur l’utilisation des agents, consultez Agents for Amazon Bedrock.
Rubriques
