Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Per creare un processo di valutazione del modello che utilizzi un modello come giudice, è necessario specificare un set di dati richiesto. I prompt vengono quindi utilizzati durante l'inferenza con il modello selezionato per la valutazione. Questo set di dati prompt utilizza lo stesso formato dei lavori di valutazione automatica del modello. Alcune coppie di valori chiave sono ora necessarie quando si utilizza la metrica Correctness (Builtin.Correctness) o la metrica Completeness (). Builtin.Completeness
È necessario creare un set di dati prompt personalizzato in un processo di valutazione del modello che utilizza un modello come giudice. I set di dati dei prompt personalizzati devono essere archiviati in Amazon S3, utilizzare il formato di riga JSON e utilizzare l'estensione del file .jsonl. Ogni riga deve essere un oggetto JSON valido. Nel set di dati possono essere presenti fino a 1.000 prompt per processo di valutazione automatica.
Per il lavoro creato utilizzando la console è necessario aggiornare la configurazione Cross Origin Resource Sharing (CORS) sul bucket S3. Per ulteriori informazioni sulle autorizzazioni CORS necessarie per questo ruolo, consulta Autorizzazioni CORS (Cross Origin Resource Sharing) richieste sui bucket S3.
Coppie chiave-valore utilizzate nel set di dati prompt per i lavori di valutazione del modello, utilizzano un modello come giudice.
-
prompt: necessario per indicare l'input per le seguenti attività:-
Il prompt a cui il modello deve rispondere nella generazione di testo generale.
-
La domanda a cui il modello deve rispondere nel tipo di attività domande e risposte.
-
Il testo che il modello deve riepilogare nell'attività di riepilogo del testo.
-
Il testo che il modello deve classificare nelle attività di classificazione.
-
-
referenceResponse— necessario per indicare la risposta di base alla verità per le metriche di completezza e correttezza.-
La risposta corretta.
-
La risposta completa.
-
-
category: (opzionale) genera punteggi di valutazione riportati per ogni categoria.
Il seguente prompt viene ampliato per maggiore chiarezza. Nel set di dati del prompt effettivo ogni riga (un prompt) deve essere un oggetto JSON valido.
{
"prompt": "Bobigny is the capital of",
"referenceResponse": "Seine-Saint-Denis",
"category": "Capitals"
}