Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usa un set di dati prompt personalizzato per la valutazione del modello in Amazon Bedrock

Puoi utilizzare un set di dati dei prompt personalizzato nei processi di valutazione del modello.

I set di dati di prompt personalizzati devono essere archiviati in Amazon S3 e utilizzare JSON il formato di riga e l'estensione del file. .jsonl Quando carichi il set di dati su Amazon S3, assicurati di aggiornare la configurazione Cross Origin Resource Sharing CORS () sul bucket S3. Per ulteriori informazioni sulle autorizzazioni richieste, consulta. CORS Autorizzazione Cross Origin Resource Sharing (CORS) richiesta sui bucket S3

Requisiti per i set di dati dei prompt personalizzati utilizzati nei processi di valutazione del modello automatica

Nei processi di valutazione del modello automatica è possibile utilizzare un set di dati dei prompt personalizzato per ogni metrica selezionata nel processo di valutazione del modello. I set di dati personalizzati utilizzano il formato di JSON riga (.jsonl) e ogni riga deve essere un oggetto validoJSON. Nel set di dati possono essere presenti fino a 1.000 prompt per processo di valutazione automatica.

È necessario utilizzare le seguenti chiavi in un set di dati personalizzato.

Ad esempio, l'accuratezza richiede sia la domanda da porre sia la risposta da confrontare con la risposta del modello. In questo esempio si utilizza la chiave prompt con il valore contenuto nella domanda e la chiave referenceResponse con il valore contenuto nella risposta come segue.

{
    "prompt": "Bobigny is the capital of",
    "referenceResponse": "Seine-Saint-Denis",
    "category": "Capitals"
}

L'esempio precedente è una singola riga di un file di input di JSON riga che verrà inviato al modello come richiesta di inferenza. Il modello verrà richiamato per ogni record di questo tipo nel set di dati di JSON linea. Il seguente esempio di input di dati riguarda un'attività di risposta a domande che utilizza una chiave category opzionale per la valutazione.

{"prompt":"Aurillac is the capital of", "category":"Capitals", "referenceResponse":"Cantal"}
{"prompt":"Bamiyan city is the capital of", "category":"Capitals", "referenceResponse":"Bamiyan Province"}
{"prompt":"Sokhumi is the capital of", "category":"Capitals", "referenceResponse":"Abkhazia"}

Per ulteriori informazioni sui requisiti di formato per i processi di valutazione del modello che utilizzano lavoratori umani, consulta Requisiti per set di dati dei prompt personalizzati in processi di valutazione del modello che utilizzano lavoratori umani.

Requisiti per set di dati dei prompt personalizzati in processi di valutazione del modello che utilizzano lavoratori umani

Nel formato di JSON linea, ogni riga è un oggetto validoJSON. Un set di dati dei prompt può avere un massimo di 1.000 prompt per processo di valutazione del modello.

Una voce di richiesta valida deve contenere la prompt chiave. Entrambe category le opzioni referenceResponse sono opzionali. Utilizza la chiave category per etichettare il prompt con una categoria specifica da utilizzare per filtrare i risultati quando li esamini nella scheda di valutazione del modello. Utilizza la chiave referenceResponse per specificare la risposta di verità fondamentale a cui i lavoratori possono fare riferimento durante la valutazione.

Nell'interfaccia utente del lavoratore, ciò che specifichi per prompt e referenceResponse è visibile ai tuoi lavoratori umani.

Di seguito è riportato un esempio di set di dati personalizzato che contiene 6 input e utilizza il formato di JSON linea.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

L'esempio seguente è una voce singola espansa per maggiore chiarezza

{
    "prompt": "What is high intensity interval training?",
    "category": "Fitness",
    "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}