Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Riepilogo del testo per la valutazione del modello in Amazon Bedrock
Il riepilogo del testo viene utilizzato per attività quali la creazione di riepiloghi di notizie, documenti legali, articoli accademici, anteprime di contenuti e cura dei contenuti. L'ambiguità, la coerenza, il bias e la fluidità del testo utilizzato per addestrare il modello, nonché la perdita di informazioni, l'accuratezza, la pertinenza o la mancata corrispondenza del contesto possono influenzare la qualità delle risposte.
Importante
Per quanto riguarda il riepilogo del testo, esiste un problema di sistema noto che impedisce ai modelli Cohere di completare correttamente la valutazione della tossicità.
Il seguente set di dati integrato è supportato per l'uso con il tipo di attività di riepilogo delle attività.
- Gigaword
-
Il set di dati Gigaword è composto dai titoli degli articoli di notizie. Questo set di dati viene utilizzato nelle attività di riepilogo del testo.
La tabella seguente riepiloga le metriche calcolate e il set di dati integrato consigliato. Per specificare correttamente i set di dati integrati disponibili utilizzando il AWS CLI o un file supportato AWS SDKusa i nomi dei parametri nella colonna, Set di dati incorporati (API).
| Tipo di attività | Parametro | Set di dati integrati (console) | Set di dati integrati () API | Metrica calcolata |
|---|---|---|---|---|
| Riepilogo del testo | Accuratezza | Gigaword |
Builtin.Gigaword |
BERTScore |
| Tossicità | Gigaword |
Builtin.Gigaword |
Tossicità | |
| Robustezza | Gigaword |
Builtin.Gigaword |
BERTScoree deltaBERTScore |
Per ulteriori informazioni su come viene calcolata la metrica per ogni set di dati integrato, consulta Esamina i report e le metriche relative alla valutazione dei modelli in Amazon Bedrock
