Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
La distillation des modèles est le processus de transfert des connaissances d'un modèle plus grand et plus intelligent (appelé enseignant) vers un modèle plus petit, plus rapide et rentable (appelé étudiant). Dans ce processus, le modèle étudiant devient aussi performant que l'enseignant pour un cas d'utilisation spécifique. Amazon Bedrock Model Distillation utilise les dernières techniques de synthèse de données pour générer des réponses diverses et de haute qualité (appelées données synthétiques) à partir du modèle de l'enseignant et affine le modèle de l'étudiant.
Pour utiliser Amazon Bedrock Model Distillation, vous devez sélectionner un modèle pédagogique dont vous souhaitez obtenir la précision en fonction de votre cas d'utilisation, et un modèle étudiant à peaufiner. Ensuite, vous fournissez des instructions spécifiques au cas d'utilisation en tant que données d'entrée. Amazon Bedrock génère des réponses à partir du modèle d'enseignant pour les instructions données, puis utilise les réponses pour affiner le modèle d'étudiant. Vous pouvez éventuellement fournir des données d'entrée étiquetées sous forme de paires prompte-réponse. Amazon Bedrock peut utiliser ces paires comme exemples exemplaires pour générer des réponses à partir du modèle de l'enseignant. Ou, si vous avez déjà des réponses générées par le modèle enseignant et que vous les avez stockées dans les journaux d'invocation, vous pouvez utiliser ces réponses existantes pour affiner le modèle étudiant. Pour cela, vous devez autoriser Amazon Bedrock à accéder à vos journaux d'invocation. Un journal d'invocation dans Amazon Bedrock est un enregistrement détaillé des invocations de modèles. Pour plus d'informations, voir Surveiller l'invocation du modèle à l'aide CloudWatch des journaux.
Vous êtes le seul à pouvoir accéder au modèle distillé final. Amazon Bedrock n'utilise pas vos données pour former un autre modèle d'enseignant ou d'étudiant destiné à un usage public.
Comment fonctionne Amazon Bedrock Model Distillation
Amazon Bedrock Model Distillation est un flux de travail unique qui automatise le processus de création d'un modèle distillé. Dans ce flux de travail, Amazon Bedrock génère des réponses à partir d'un modèle d'enseignant, ajoute des techniques de synthèse de données pour améliorer la génération de réponses et affine le modèle étudiant avec les réponses générées. L'ensemble de données augmenté est divisé en ensembles de données distincts à utiliser pour la formation et la validation. Amazon Bedrock utilise uniquement les données de l'ensemble de données de formation pour affiner le modèle étudiant.
Après avoir identifié les modèles de votre professeur et de vos élèves, vous pouvez choisir la manière dont vous souhaitez qu'Amazon Bedrock crée un modèle distillé adapté à votre cas d'utilisation. Amazon Bedrock peut soit générer les réponses des enseignants à l'aide des instructions que vous fournissez, soit utiliser les réponses issues de vos données de production via les journaux d'invocation. Amazon Bedrock Model Distillation utilise ces réponses pour affiner le modèle étudiant.
Création d'un modèle distillé à l'aide des instructions que vous fournissez
Amazon Bedrock utilise les invites de saisie que vous fournissez pour générer des réponses à partir du modèle de l'enseignant. Amazon Bedrock utilise ensuite les réponses pour affiner le modèle d'étudiant que vous avez identifié. Selon votre cas d'utilisation, Amazon Bedrock peut ajouter des techniques de synthèse de données propriétaires pour générer des réponses diverses et de meilleure qualité. Par exemple, Amazon Bedrock peut générer des invites similaires pour générer des réponses plus diverses à partir du modèle de l'enseignant. Ou, si vous fournissez éventuellement une poignée de données d'entrée étiquetées sous forme de paires prompte-réponse, Amazon Bedrock peut utiliser ces paires comme exemples exemplaires pour demander à l'enseignant de générer des réponses similaires de haute qualité.
Note
Si Amazon Bedrock Model Distillation utilise ses techniques de synthèse de données exclusives pour générer des réponses de meilleure qualité pour les enseignants, des frais supplémentaires vous Compte AWS seront facturés pour les appels d'inférence adressés au modèle enseignant. Ces frais seront facturés aux taux d'inférence sur demande du modèle d'enseignant. Les techniques de synthèse de données peuvent augmenter la taille de l'ensemble de données de réglage précis jusqu'à un maximum de 15 000 paires de réponses rapides. Pour plus d'informations sur les frais Amazon Bedrock, consultez les tarifs Amazon Bedrock
Création d'un modèle distillé à partir des données de production
Si vous avez déjà des réponses générées par le modèle enseignant et stockées dans les journaux d'invocation, vous pouvez utiliser ces réponses existantes pour affiner le modèle étudiant. Pour cela, vous devez fournir à Amazon Bedrock l'accès à vos journaux d'invocation. Un journal d'invocation dans Amazon Bedrock est un enregistrement détaillé des invocations de modèles. Pour plus d'informations, voir Surveiller l'invocation du modèle à l'aide CloudWatch des journaux.
Si vous choisissez cette option, vous pouvez continuer à utiliser les opérations de l'API d'inférence Amazon Bedrock, telles que InvokeModell'API Converse, et à collecter les journaux d'invocation, les données d'entrée du modèle (invites) et les données de sortie du modèle (réponses) pour toutes les invocations utilisées dans Amazon Bedrock. Lorsque vous générez des réponses à partir du modèle à l'aide des opérations de Converse l'API InvokeModel or, vous pouvez éventuellement requestMetadata ajouter des réponses. Cela peut vous aider à filtrer vos journaux d'invocations pour des cas d'utilisation spécifiques, puis à utiliser les réponses filtrées pour affiner votre modèle d'étudiant. Lorsque vous choisissez d'utiliser les journaux d'invocation pour affiner votre modèle d'étudiant, vous pouvez demander à Amazon Bedrock d'utiliser uniquement les instructions ou d'utiliser des paires prompt-réponse.
Choix des invites avec les journaux d'invocation
Si vous choisissez qu'Amazon Bedrock utilise uniquement les instructions des journaux d'invocation, Amazon Bedrock utilise les invites pour générer des réponses à partir du modèle de l'enseignant. Dans ce cas, Amazon Bedrock utilise les réponses pour affiner le modèle d'étudiant que vous avez identifié. Selon votre cas d'utilisation, Amazon Bedrock Model Distillation peut ajouter des techniques de synthèse de données propriétaires pour générer des réponses diverses et de meilleure qualité.
Note
Si Amazon Bedrock Model Distillation utilise ses techniques de synthèse de données exclusives pour générer des réponses de meilleure qualité pour les enseignants, des frais supplémentaires vous Compte AWS seront facturés pour les appels d'inférence adressés au modèle enseignant. Ces frais seront facturés aux taux d'inférence sur demande du modèle d'enseignant. Les techniques de synthèse de données peuvent augmenter la taille de l'ensemble de données de réglage fin jusqu'à un maximum de 15 000 paires de réponses rapides. Pour plus d'informations sur les frais Amazon Bedrock, consultez les tarifs Amazon Bedrock
Choisir des paires prompt-réponse avec les journaux d'invocation
Si vous choisissez qu'Amazon Bedrock utilise des paires prompt-réponse issues des journaux d'invocation, Amazon Bedrock ne régénérera pas les réponses à partir du modèle enseignant et utilisera les réponses du journal des invocations pour affiner le modèle étudiant. Pour qu'Amazon Bedrock puisse lire les réponses des journaux d'invocation, le modèle d'enseignant spécifié dans votre tâche de distillation modèle doit correspondre au modèle utilisé dans le journal d'invocation. Si vous avez ajouté des métadonnées de demande aux réponses du journal d'invocation, pour affiner le modèle étudiant, vous pouvez spécifier les filtres de métadonnées des demandes afin qu'Amazon Bedrock ne lise que les journaux spécifiques qui sont valides pour votre cas d'utilisation.
