Conditions requises pour la distillation sur le modèle Amazon Bedrock

Choisissez un modèle d'enseignant

Choisissez un modèle d'enseignant nettement plus grand et plus performant que le modèle étudiant, et dont vous souhaitez obtenir la précision pour votre cas d'utilisation. Pour rendre le travail de distillation plus efficace, sélectionnez un modèle déjà entraîné pour une tâche similaire à votre cas d'utilisation. Pour plus d'informations sur les modèles d'enseignants pris en charge par Amazon Bedrock, consultezModèles et régions pris en charge pour Amazon Bedrock Model Distillation.

Choisissez un modèle étudiant

Choisissez un modèle étudiant de taille nettement plus petite. Pour plus d'informations sur les modèles étudiants pris en charge par Amazon Bedrock, consultezModèles et régions pris en charge pour Amazon Bedrock Model Distillation.

Préparez votre jeu de données d'entrée

Pour préparer les ensembles de données d'entrée pour votre modèle personnalisé, vous créez des .jsonl fichiers dont chaque ligne est un objet JSON correspondant à un enregistrement. Les fichiers que vous créez doivent être conformes au format de la méthode et du modèle de personnalisation que vous choisissez, et les enregistrements qu'ils contiennent doivent être conformes aux exigences de taille.

Fournissez les données d'entrée sous forme d'invite. Amazon Bedrock utilise les données d'entrée pour générer des réponses à partir du modèle de l'enseignant et utilise les réponses générées pour affiner le modèle de l'étudiant. Pour plus d'informations sur les entrées utilisées par Amazon Bedrock et pour choisir l'option la mieux adaptée à votre cas d'utilisation, consultezComment fonctionne Amazon Bedrock Model Distillation.

Choisissez l'option qui convient le mieux à votre cas d'utilisation pour obtenir des instructions sur la préparation de votre jeu de données d'entrée :

Option 1 : fournissez vos propres instructions

Collectez vos invites et stockez-les au format JSON Line (JSONL). Chaque enregistrement du JSONL doit utiliser la structure suivante.

Pour la version préliminaire Anthropic and Meta Llama les modèles ne prennent en charge que les invites de conversation à tour unique, ce qui signifie que vous ne pouvez avoir qu'une seule invite utilisateur. Le Amazon Nova les modèles prennent en charge les conversations à plusieurs tours, ce qui vous permet de proposer des échanges entre plusieurs utilisateurs et assistants au sein d'un même enregistrement.

Exemple de format

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],    
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "why is the sky blue"
                }
            ]
        },
        {
            "role": "assistant"
            "content": [
               {
                   "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
               }
            ]
        }
    ]
}

Option 2 : utiliser les journaux d'invocation

Pour utiliser les journaux d'invocation pour la distillation du modèle, configurez la connexion par invocation du modèle, utilisez l'une des opérations d'appel du modèle et assurez-vous d'avoir configuré un compartiment Amazon S3 comme destination pour les journaux. Avant de démarrer la tâche de distillation du modèle, vous devez fournir à Amazon Bedrock les autorisations d'accès aux journaux. Pour plus d'informations sur la configuration des journaux d'invocation, consultez Surveiller le modèle d'invocation à l'aide d'Amazon CloudWatch Logs.

Avec cette option, vous pouvez spécifier si vous souhaitez qu'Amazon Bedrock utilise uniquement les invites ou utilise des paires prompt-réponse issues du journal des appels. Si vous souhaitez qu'Amazon Bedrock n'utilise que des instructions, Amazon Bedrock peut ajouter des techniques de synthèse de données propriétaires afin de générer des réponses diverses et de meilleure qualité à partir du modèle de l'enseignant. Si vous souhaitez qu'Amazon Bedrock utilise des paires prompt-réponse, Amazon Bedrock ne régénérera pas les réponses à partir du modèle d'enseignant. Amazon Bedrock utilisera directement les réponses du journal des invocations pour peaufiner le modèle étudiant.

Vous pouvez éventuellement ajouter des métadonnées de demande aux paires prompte-réponse du journal d'invocation à l'aide de l'une des opérations d'invocation du modèle, puis les utiliser ultérieurement pour filtrer les journaux. Amazon Bedrock peut utiliser les journaux filtrés pour affiner le modèle étudiant.

Pour filtrer les journaux à l'aide de plusieurs métadonnées de demande, utilisez un opérateur booléen AND, OR ou NOT en une seule opération. Vous ne pouvez pas combiner les opérations. Pour le filtrage des métadonnées à demande unique, utilisez l'opérateur booléen NOT.

Si vous ne possédez pas encore de rôle de service IAM doté des autorisations appropriées, créez un nouveau rôle de service personnalisé AWS Identity and Access Management (IAM) doté des autorisations appropriées en suivant les instructions Création d'un rôle de service pour la personnalisation du modèle de configuration du rôle. Vous pouvez ignorer cette condition préalable si vous prévoyez d'utiliser le AWS Management Console pour créer automatiquement un rôle de service pour vous.

(Facultatif) Configurez des configurations de sécurité supplémentaires.