Analizza i risultati di un processo di personalizzazione del modello - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Analizza i risultati di un processo di personalizzazione del modello

Una volta completato un lavoro di personalizzazione del modello, è possibile analizzare i risultati del processo di formazione esaminando i file nella cartella di output S3 specificata al momento dell'invio del lavoro o visualizzare i dettagli sul modello. Amazon Bedrock archivia i tuoi modelli personalizzati in uno AWS storage gestito nell'ambito del tuo account.

Puoi anche valutare il tuo modello eseguendo un processo di valutazione del modello. Per ulteriori informazioni, consulta Scegli il modello con le prestazioni migliori utilizzando le valutazioni di Amazon Bedrock.

L'output S3 per un processo di personalizzazione del modello contiene i seguenti file di output nella cartella S3. Gli artefatti di convalida vengono visualizzati solo se hai incluso un set di dati di convalida.

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Utilizza step_wise_training_metrics.csv e i file validation_metrics.csv per analizzare il processo di personalizzazione del modello e per modificare il modello secondo necessità.

Le colonne del file sono le seguenti. step_wise_training_metrics.csv

  • step_number — La fase del processo di formazione. Inizia da 0.

  • epoch_number — L'epoca del processo di addestramento.

  • training_loss — Indica quanto bene il modello si adatta ai dati di allenamento. Un valore più basso indica un adattamento migliore.

  • perplessità: indica la capacità del modello di prevedere una sequenza di token. Un valore più basso indica una migliore capacità predittiva.

Le colonne del validation_metrics.csv file sono le stesse del file di addestramento, tranne per il fatto che validation_loss (quanto bene il modello si adatta ai dati di convalida) appare al posto di. training_loss

Puoi trovare i file di output aprendo direttamente https://console.aws.amazon.com/s3 o trovando il link alla cartella di output all'interno dei dettagli del tuo modello. Selezionate la scheda corrispondente al metodo scelto e seguite i passaggi:

Console

  1. Accedi all' AWS Management Console utilizzo di un IAMruolo con le autorizzazioni di Amazon Bedrock e apri la console Amazon Bedrock all'indirizzo. https://console.aws.amazon.com/bedrock/

  2. Dal riquadro di navigazione a sinistra, scegli Modelli personalizzati in Modelli Foundation.

  3. Nella scheda Modelli, seleziona un modello per visualizzarne i dettagli. Il nome del Job è disponibile nella sezione Dettagli del modello.

  4. Per visualizzare i file S3 di output, selezionate la posizione S3 nella sezione Dati di output.

  5. Trova i file delle metriche di addestramento e convalida nella cartella il cui nome corrisponde al nome del Job per il modello.

API

Per elencare informazioni su tutti i tuoi modelli personalizzati, invia una richiesta ListCustomModels(consulta il link per i formati di richiesta e risposta e i dettagli sui campi) con un endpoint del piano di controllo Amazon Bedrock. Fai riferimento a ListCustomModelsper i filtri che puoi utilizzare.

Per elencare tutti i tag per un modello personalizzato, invia una ListTagsForResourcerichiesta (consulta il link per i formati di richiesta e risposta e i dettagli del campo) con un endpoint del piano di controllo Amazon Bedrock e includi l'Amazon Resource Name (ARN) del modello personalizzato.

Per monitorare lo stato di un processo di personalizzazione del modello, invia una richiesta GetCustomModel(consulta il link per i formati di richiesta e risposta e i dettagli dei campi) a un endpoint del piano di controllo Amazon Bedrock conmodelIdentifier, che è uno dei seguenti.

  • Il nome che hai assegnato al modello.

  • Il ARN modello.

Puoi visualizzare trainingMetrics e validationMetrics per un lavoro di personalizzazione del modello nella GetCustomModelrisposta GetModelCustomizationJobo.

Per scaricare i file delle metriche di formazione e convalida, segui i passaggi riportati in Download degli oggetti. Usa l'S3 URI che hai fornito in. outputDataConfig

Vedi esempi di codice