Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Creazione di un processo automatico di valutazione del modello
Le valutazioni automatiche dei modelli consentono di valutare le risposte di un singolo modello utilizzando le metriche consigliate. Puoi inoltre utilizzare set di dati dei prompt integrati o utilizzare il tuo set di dati dei prompt personalizzato. Puoi avere un massimo di 10 processi di valutazione del modello automatica in corso nel tuo account per Regione AWS.
Quando imposti un processo di valutazione del modello automatica, i set di dati integrati e le metriche disponibili più adatti al tipo di attività selezionato vengono aggiunti automaticamente al processo. Puoi aggiungere o rimuovere qualsiasi metrica o set di dati preselezionati. Puoi anche fornire il tuo set di dati prompt personalizzato.
Prerequisiti
Per creare il tuo primo processo di valutazione del modello utilizzando la console Amazon Bedrock, devi fare quanto segue.
Nota
Quando crei lavori di valutazione dei modelli utilizzando la console Amazon Bedrock, devi configurare le CORS autorizzazioni corrette sul bucket Amazon S3 da te specificato.
-
Devi avere accesso al modello in Amazon Bedrock.
-
Devi avere un ruolo di servizio Amazon Bedrock. Se non hai già creato un ruolo di servizio, puoi crearlo nella console Amazon Bedrock durante la configurazione del processo di valutazione del modello. Se desideri creare una policy personalizzata, la policy allegata deve consentire l'accesso alle seguenti risorse: tutti i bucket S3 utilizzati nel processo di valutazione ARN del modello e il modello specificato nel lavoro. Il ruolo di servizio deve inoltre avere Amazon Bedrock definito come principale del servizio nella policy di attendibilità del ruolo. Per ulteriori informazioni, consulta Autorizzazioni richieste.
-
L'utente, il gruppo o il ruolo che accede alla console Amazon Bedrock deve disporre delle autorizzazioni necessarie per accedere ai bucket Amazon S3 richiesti. Per ulteriori informazioni, consulta Autorizzazioni richieste
-
Al bucket Amazon S3 di output e a qualsiasi bucket di set di dati prompt personalizzato devono essere aggiunte le autorizzazioni richieste. CORS Per ulteriori informazioni sulle autorizzazioni richieste, consulta. CORS Autorizzazione Cross Origin Resource Sharing (CORS) richiesta sui bucket S3
Tutorial: Crea un processo di valutazione automatica del modello
La procedura seguente è un tutorial. Il tutorial illustra la creazione di un processo di valutazione automatica del modello che utilizza il modello Amazon Titan Text G1 - Lite e la creazione di un ruolo di IAM servizio.
Visualizzazione dei risultati del processo di valutazione del modello utilizzando la console Amazon Bedrock
Al termine di un processo di valutazione del modello, i risultati vengono archiviati nel bucket Amazon S3specificato. Se modifichi in qualche modo la posizione dei risultati, la scheda del report di valutazione del modello non è più visibile nella console.
(Tutorial) Per creare una valutazione automatica del modello utilizzando Amazon Titan Text G1 - Lite
-
Apri la console Amazon Bedrock: https://console.aws.amazon.com/bedrock/
. -
Nel riquadro di navigazione seleziona Valutazione del modello.
-
Nella sceda Sviluppa una valutazione, in Automatico scegli Crea una valutazione automatica.
-
Nella pagina Crea valutazione automatica, fornisci le seguenti informazioni:
-
Nome di valutazione: assegna al processo di valutazione del modello un nome che descriva il processo. Questo nome viene visualizzato nella tabella del processo di valutazione del modello. Il nome deve essere univoco in un file Account AWS . Regione AWS
-
Descrizione (facoltativa): fornisci una descrizione facoltativa.
-
Selettore del modello: scegli il modello Amazon Titan Text G1 — Lite.
Per ulteriori informazioni sui modelli disponibili e su come accedervi in Amazon Bedrock, consultaGestisci l'accesso ai modelli Amazon Bedrock Foundation.
-
(Facoltativo) Per modificare la configurazione dell'inferenza, scegli Aggiorna.
La modifica della configurazione di inferenza modifica le risposte generate dal modello selezionato. Per ulteriori informazioni sui parametri di inferenza disponibili, consulta Parametri di inferenza per modelli di fondazione.
-
Tipo di attività: scegliete Generazione di testo generale.
-
Nella scheda Metriche e set di dati: puoi visualizzare un elenco di metriche disponibili e set di dati prompt integrati. I set di dati cambiano in base all'attività selezionata. In questo tutorial lascia selezionate le opzioni predefinite.
-
Risultati della valutazione: specificate il codice S3 URI della directory in cui desiderate salvare i risultati del processo di valutazione del modello. Scegli Browse S3 per cercare una posizione in Amazon S3.
-
IAMRuolo Amazon Bedrock: scegli il pulsante di opzione Crea un nuovo ruolo.
-
(Facoltativo) In Nome del ruolo di servizio, modifica il suffisso del ruolo che verrà creato per tuo conto. I ruoli creati in questo modo inizieranno sempre con Amazon-Bedrock- -Role- IAM.
-
Un bucket di output è sempre necessario per un processo di valutazione automatica del modello e deve essere specifico per il ruolo di servizio. IAM Se hai già specificato un bucket nei risultati della valutazione, questo campo è precompilato.
-
Quindi, scegli Crea ruolo.
-
-
Per iniziare il processo di valutazione del modello, scegli Crea.
Una volta avviato correttamente il processo, lo stato passa a In corso. Al termine del processo, lo stato cambia in Completato.
Per interrompere un processo di valutazione del modello attualmente in corso, scegli Interrompi valutazione. Lo stato del processo di valutazione del modello cambierà da In corso a Interruzione. Una volta che lo stato del lavoro è cambiato in Interrotto.
Per informazioni su come valutare, visualizzare e scaricare i risultati del processo di valutazione del modello, consulta Risultati del processo di valutazione del modello.
