Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Les profils d'inférence sont une ressource d'Amazon Bedrock qui définit un modèle et une ou plusieurs régions vers lesquelles le profil d'inférence peut acheminer les demandes d'invocation de modèles. Vous pouvez utiliser des profils d'inférence pour les tâches suivantes :
-
Suivi des statistiques d'utilisation : configurez CloudWatch des journaux et soumettez des demandes d'invocation de modèles avec un profil d'inférence d'application afin de collecter des métriques d'utilisation pour l'invocation du modèle. Vous pouvez examiner ces indicateurs lorsque vous consultez les informations relatives au profil d'inférence et les utiliser pour prendre des décisions éclairées. Pour plus d'informations sur la configuration CloudWatch des journaux, consultezSurveillez l'invocation du modèle à l'aide des journaux CloudWatch .
-
Utilisez des balises pour surveiller les coûts : attachez des balises à un profil d'inférence d'application pour suivre les coûts lorsque vous soumettez des demandes d'appel de modèles à la demande. Pour plus d'informations sur l'utilisation des balises pour la répartition des coûts, voir Organisation et suivi des coûts à l'aide des balises de répartition des AWS coûts dans le guide de AWS Billing l'utilisateur.
-
Inférence entre régions : augmentez votre débit en utilisant un profil d'inférence qui inclut plusieurs. Régions AWS Le profil d'inférence distribuera les demandes d'appel de modèles dans ces régions afin d'augmenter le débit et les performances. Pour plus d'informations sur l'inférence entre régions, consultez. Augmentez le débit grâce à l'inférence entre régions
Amazon Bedrock propose les types de profils d'inférence suivants :
-
Profils d'inférence entre régions (définis par le système) : profils d'inférence prédéfinis dans Amazon Bedrock et incluant plusieurs régions vers lesquelles les demandes de modèle peuvent être acheminées.
-
Profils d'inférence d'applications : profils d'inférence créés par un utilisateur pour suivre les coûts et l'utilisation du modèle. Vous pouvez créer un profil d'inférence qui achemine les demandes d'invocation de modèles vers une ou plusieurs régions :
-
Pour créer un profil d'inférence permettant de suivre les coûts et l'utilisation d'un modèle dans une région, spécifiez le modèle de base dans la région vers laquelle vous souhaitez que le profil d'inférence achemine les demandes.
-
Pour créer un profil d'inférence permettant de suivre les coûts et l'utilisation d'un modèle dans plusieurs régions, spécifiez le profil d'inférence entre régions (défini par le système) qui définit le modèle et les régions vers lesquels vous souhaitez que le profil d'inférence achemine les demandes.
-
Vous pouvez utiliser des profils d'inférence dotés des fonctionnalités suivantes pour acheminer les demandes vers plusieurs régions et pour suivre l'utilisation et le coût des demandes d'appel effectuées avec ces fonctionnalités :
-
Inférence de modèle : utilisez un profil d'inférence lors de l'invocation de modèle en choisissant un profil d'inférence dans un terrain de jeu dans la console Amazon Bedrock ou en spécifiant l'ARN du profil d'inférence lorsque vous appelez les opérations InvokeModel,, InvokeModelWithResponseStreamConverse et. ConverseStream Pour de plus amples informations, veuillez consulter Soumettez des invites et générez des réponses grâce à l'inférence du modèle.
-
Intégration de vecteurs dans la base de connaissances et génération de réponses : utilisez un profil d'inférence lorsque vous générez une réponse après avoir consulté une base de connaissances ou lorsque vous analysez des informations non textuelles dans une source de données. Pour plus d’informations, consultez Testez votre base de connaissances à l'aide de requêtes et de réponses et Options d'analyse pour votre source de données.
-
Évaluation du modèle — Vous pouvez soumettre un profil d'inférence en tant que modèle à évaluer lorsque vous soumettez une tâche d'évaluation de modèle. Pour de plus amples informations, veuillez consulter Évaluez les performances des ressources Amazon Bedrock.
-
Gestion des promptes : vous pouvez utiliser un profil d'inférence lorsque vous générez une réponse à une invite que vous avez créée dans Gestion des promptes. Pour plus d’informations, consultez Créez et stockez des instructions réutilisables avec Prompt Management dans Amazon Bedrock.
-
Flux — Vous pouvez utiliser un profil d'inférence lorsque vous générez une réponse à une invite que vous définissez en ligne dans un nœud d'invite d'un flux. Pour de plus amples informations, veuillez consulter Créez un flux de travail d'IA end-to-end génératif avec Amazon Bedrock Flows.
Le prix d'utilisation d'un profil d'inférence est calculé en fonction du prix du modèle dans la région à partir de laquelle vous appelez le profil d'inférence. Pour plus d'informations sur les tarifs, consultez les tarifs d'Amazon Bedrock
Pour plus de détails sur le débit qu'un profil d'inférence interrégional peut offrir, consultez. Augmentez le débit grâce à l'inférence entre régions
Rubriques
