Conditions requises pour la distillation sur le modèle Amazon Bedrock

Choisissez un modèle d'enseignant

Choisissez un modèle d'enseignant nettement plus grand et plus performant que le modèle étudiant, et dont vous souhaitez obtenir la précision pour votre cas d'utilisation. Pour rendre le travail de distillation plus efficace, sélectionnez un modèle déjà entraîné pour une tâche similaire à votre cas d'utilisation. Pour plus d'informations sur les modèles d'enseignants pris en charge par Amazon Bedrock, consultezModèles et régions pris en charge pour Amazon Bedrock Model Distillation.

Choisissez un modèle étudiant

Choisissez un modèle étudiant de taille nettement plus petite. Pour plus d'informations sur les modèles étudiants pris en charge par Amazon Bedrock, consultezModèles et régions pris en charge pour Amazon Bedrock Model Distillation.

Préparez votre jeu de données d'entrée

Fournissez les données d'entrée sous forme d'invite. Amazon Bedrock utilise les données d'entrée pour générer des réponses à partir du modèle de l'enseignant et utilise les réponses générées pour affiner le modèle de l'étudiant. Pour plus d'informations sur les entrées utilisées par Amazon Bedrock et pour choisir l'option la mieux adaptée à votre cas d'utilisation, consultezComment fonctionne Amazon Bedrock Model Distillation.

Choisissez l'option qui convient le mieux à votre cas d'utilisation pour obtenir des instructions sur la préparation de votre jeu de données d'entrée :

Option 1 : fournissez vos propres instructions

Collectez vos instructions et stockez-les au format JSON Line (JSONL). Chaque enregistrement du JSONL doit utiliser la structure suivante.

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],    
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "why is the sky blue"
                }
            ]
        },
        {
            "role": "assistant"
            "content": [
               {
                   "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
               }
            ]
        }
    ]
}

La structure doit inclure le champ obligatoire schemaVersion qui doit contenir la valeurbedrock-conversion-2024. Vous pouvez éventuellement inclure une invite système indiquant le rôle attribué au modèle. Dans le champ des messages, le rôle utilisateur est obligatoire, contenant l'invite de saisie fournie au modèle, tandis que le rôle assistant, contenant la réponse souhaitée, est facultatif.

Pour la version préliminaire Anthropic and Meta les modèles ne prennent en charge que les invites de conversation à tour unique, ce qui signifie que vous ne pouvez avoir qu'une seule invite utilisateur. Le Amazon Nova les modèles prennent en charge les conversations à plusieurs tours, ce qui vous permet de proposer des échanges entre plusieurs utilisateurs et assistants au sein d'un même enregistrement.

Après avoir ajouté toutes les instructions, chargez le fichier dans un compartiment Amazon Simple Storage Service (Amazon S3).

Option 2 : utiliser les journaux d'invocation

Pour utiliser les journaux d'invocation pour la distillation du modèle, configurez la connexion par invocation du modèle, utilisez l'une des opérations d'appel du modèle et assurez-vous d'avoir configuré un compartiment Amazon S3 comme destination pour les journaux. Avant de démarrer la tâche de distillation du modèle, vous devez fournir à Amazon Bedrock les autorisations d'accès aux journaux. Pour plus d'informations sur la configuration des journaux d'invocation, consultez Surveiller le modèle d'invocation à l'aide d'Amazon CloudWatch Logs.

Avec cette option, vous pouvez spécifier si vous souhaitez qu'Amazon Bedrock utilise uniquement les invites ou utilise des paires prompt-réponse issues du journal des appels. Si vous souhaitez qu'Amazon Bedrock n'utilise que des instructions, Amazon Bedrock peut ajouter des techniques de synthèse de données propriétaires afin de générer des réponses diverses et de meilleure qualité à partir du modèle de l'enseignant. Si vous souhaitez qu'Amazon Bedrock utilise des paires prompt-réponse, Amazon Bedrock ne régénérera pas les réponses à partir du modèle d'enseignant. Amazon Bedrock utilisera directement les réponses du journal des invocations pour peaufiner le modèle étudiant.

Vous pouvez éventuellement ajouter des métadonnées de demande aux paires prompte-réponse du journal d'invocation à l'aide de l'une des opérations d'invocation du modèle, puis les utiliser ultérieurement pour filtrer les journaux. Amazon Bedrock peut utiliser les journaux filtrés pour affiner le modèle étudiant.

Pour filtrer les journaux à l'aide de plusieurs métadonnées de demande, utilisez un opérateur booléen à opération uniqueAND, OR ou. NOT Vous ne pouvez pas combiner les opérations. Pour le filtrage des métadonnées à demande unique, utilisez l'opérateur booléen. NOT