Prerequisiti per Amazon Bedrock Model Distillation

Scegli un modello di insegnante

Scegliete un modello di insegnante che sia notevolmente più grande e più efficiente del modello per studenti e di cui desiderate ottenere la precisione necessaria per il vostro caso d'uso. Per rendere più efficace il lavoro di distillazione, selezionate un modello già addestrato per attività simili al vostro caso d'uso. Per informazioni sui modelli di insegnanti supportati da Amazon Bedrock, consultaRegioni e modelli supportati per Amazon Bedrock Model Distillation.

Scegli un modello per studenti

Scegli un modello studentesco di dimensioni notevolmente più ridotte. Per informazioni sui modelli studenteschi supportati da Amazon Bedrock, consultaRegioni e modelli supportati per Amazon Bedrock Model Distillation.

Prepara il set di dati di input

Per preparare i set di dati di input per il modello personalizzato, create .jsonl dei file, ogni riga dei quali è un oggetto JSON corrispondente a un record. I file creati devono essere conformi al formato del metodo e del modello di personalizzazione scelti e i record in essi contenuti devono essere conformi ai requisiti di dimensione.

Fornisci i dati di input come richiesto. Amazon Bedrock utilizza i dati di input per generare risposte dal modello dell'insegnante e utilizza le risposte generate per perfezionare il modello dello studente. Per ulteriori informazioni sugli input utilizzati da Amazon Bedrock e per scegliere l'opzione più adatta al tuo caso d'uso, consulta. Come funziona Amazon Bedrock Model Distillation

Scegli l'opzione più adatta al tuo caso d'uso per ricevere istruzioni sulla preparazione del set di dati di input:

Opzione 1: fornisci le tue istruzioni

Raccogli i prompt e archiviali in un formato JSON Line (JSONL). Ogni record in JSONL deve utilizzare la seguente struttura.

Per la versione di anteprima Anthropic e Meta Llama i modelli supportano solo istruzioni di conversazione a turno singolo, il che significa che è possibile avere un solo prompt utente. Il Amazon Nova i modelli supportano conversazioni a più turni, che consentono di fornire più scambi di utenti e assistenti all'interno di un unico record.

Formato di esempio

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],    
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "why is the sky blue"
                }
            ]
        },
        {
            "role": "assistant"
            "content": [
               {
                   "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
               }
            ]
        }
    ]
}

Opzione 2: utilizzare i registri delle chiamate

Per utilizzare i log di invocazione per la distillazione del modello, imposta la registrazione di invocazione del modello, utilizza una delle operazioni di invocazione del modello e assicurati di aver impostato un bucket Amazon S3 come destinazione per i log. Prima di iniziare il processo di distillazione del modello, devi fornire le autorizzazioni di Amazon Bedrock per accedere ai log. Per ulteriori informazioni sulla configurazione dei log delle chiamate, consulta Monitorare la chiamata del modello utilizzando Amazon Logs. CloudWatch

Con questa opzione, puoi specificare se desideri che Amazon Bedrock utilizzi solo i prompt o utilizzi coppie prompt-response dal log delle chiamate. Se desideri che Amazon Bedrock utilizzi solo le istruzioni, Amazon Bedrock potrebbe aggiungere tecniche proprietarie di sintesi dei dati per generare risposte diverse e di qualità superiore a partire dal modello degli insegnanti. Se desideri che Amazon Bedrock utilizzi coppie di risposte rapide, Amazon Bedrock non rigenererà le risposte dal modello dell'insegnante. Amazon Bedrock utilizzerà direttamente le risposte dal registro delle chiamate per perfezionare il modello studentesco.

Facoltativamente, puoi aggiungere i metadati della richiesta alle coppie prompt-response nel log di chiamata utilizzando una delle operazioni di invocazione del modello e successivamente utilizzarli per filtrare i log. Amazon Bedrock può utilizzare i log filtrati per ottimizzare il modello studentesco.

Per filtrare i log utilizzando più metadati di richiesta, utilizza un operatore booleano a singola operazione AND, OR o NOT. Non è possibile combinare le operazioni. Per il filtraggio dei metadati a richiesta singola, utilizzate l'operatore booleano NOT.

Se non disponi già di un ruolo di servizio IAM con le autorizzazioni appropriate, crea un nuovo ruolo di servizio personalizzato AWS Identity and Access Management (IAM) con le autorizzazioni appropriate seguendo le istruzioni riportate per configurare il ruolo. Creare un ruolo di servizio per la personalizzazione del modello Puoi ignorare questo prerequisito se prevedi di utilizzare il per creare automaticamente un ruolo di servizio AWS Management Console per te.

(Facoltativo) Imposta configurazioni di sicurezza aggiuntive.