Visualizzazione dei parametri relativi alle prestazioni - Amazon Lookout per Vision
Visualizzazione dei parametri relativi alle prestazioni (console)Visualizzazione dei parametri relativi alle prestazioni (SDK)

Avviso di fine del supporto: il 31 ottobre 2025 AWS interromperà il supporto per Amazon Lookout for Vision. Dopo il 31 ottobre 2025, non potrai più accedere alla console Lookout for Vision o alle risorse Lookout for Vision. Per ulteriori informazioni, consulta questo post del blog.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Visualizzazione dei parametri relativi alle prestazioni

Puoi ottenere le metriche delle prestazioni dalla console e chiamando l'DescribeModeloperazione.

Visualizzazione dei parametri relativi alle prestazioni (console)

Al termine dell'allenamento, la console visualizza le metriche delle prestazioni.

La console Amazon Lookout for Vision mostra le seguenti metriche prestazionali per le classificazioni effettuate durante i test:

Se il modello è un modello di segmentazione, la console mostra anche le seguenti metriche prestazionali per ciascuna etichetta di anomalia:

La sezione panoramica dei risultati del test mostra le previsioni totali corrette ed errate per le immagini nel set di dati del test. Puoi anche vedere le assegnazioni di etichette previste ed effettive per le singole immagini nel set di dati di test.

La procedura seguente mostra come ottenere i parametri relativi alle prestazioni dalla visualizzazione dell'elenco modello di un progetto.

Come visualizzare i parametri relativi alle prestazioni (console)

  1. Apri la console Amazon Lookout for Vision all'indirizzo https://console.aws.amazon.com/lookoutvision/.

  2. Scegliere Inizia.

  3. Nel pannello di navigazione a sinistra, scegliere Progetti.

  4. Nella vista Progetti, scegli il progetto contenente la versione del modello che desideri visualizzare.

  5. Nel pannello di navigazione a sinistra, sotto il nome del progetto, scegliere Modelli.

  6. Nella visualizzazione dell'elenco dei modelli, scegliere la versione del modello che si desidera modificare.

  7. Nella pagina dei dettagli del modello, visualizza le metriche delle prestazioni nella scheda Metriche delle prestazioni.

  8. Tieni presente quanto segue:

    1. La sezione Metriche delle prestazioni del modello contiene le metriche complessive del modello (precisione, richiamo, punteggio F1) per le previsioni di classificazione effettuate dal modello per le immagini di test.

    2. Se il modello è un modello di segmentazione delle immagini, la sezione Prestazioni per etichetta contiene il numero di immagini di test in cui è stata trovata l'etichetta dell'anomalia. Vengono visualizzate anche le metriche (punteggio F1, IoU medio) per ogni etichetta di anomalia.

    3. La sezione Panoramica dei risultati dei test fornisce i risultati per ogni immagine di test utilizzata da Lookout for Vision per valutare il modello. Include le voci seguenti:

      • Il numero totale di previsioni di classificazione corrette (vere positive) e errate (false negative) (normali o anomalie) per tutte le immagini del test.

      • La previsione di classificazione per ogni immagine di prova. Se vedi Corretto sotto un'immagine, la classificazione prevista corrisponde alla classificazione effettiva dell'immagine. Altrimenti il modello non ha classificato correttamente l'immagine.

      • Con un modello di segmentazione dell'immagine, vengono visualizzate le etichette di anomalia assegnate dal modello all'immagine e le maschere sull'immagine che corrispondono ai colori delle etichette di anomalia.

Visualizzazione dei parametri relativi alle prestazioni (SDK)

È possibile utilizzare l'DescribeModeloperazione per ottenere le metriche riassuntive delle prestazioni (classificazione) per il modello, il manifesto di valutazione e i risultati della valutazione per un modello.

Ottenere le metriche riassuntive delle prestazioni

Le metriche riassuntive delle prestazioni per le previsioni di classificazione effettuate dal modello durante i test (PrecisioneRecall, ePunteggio F1) vengono restituite nelPerformance campo restituito da una chiamata aDescribeModel.

        "Performance": {
            "F1Score": 0.8,
            "Recall": 0.8,
            "Precision": 0.9
        },

IlPerformance campo non include le metriche sulle prestazioni delle etichette di anomalia restituite da un modello di segmentazione. Puoi prenderli dalEvaluationResult campo. Per ulteriori informazioni, consulta Esame del risultato della valutazione.

Per informazioni sulle metriche di riepilogo delle prestazioni, vedereFase 1: Valuta le prestazioni del tuo modello. Per il codice di esempio, consulta Visualizzazione dei modelli (SDK).

Utilizzo del manifesto di valutazione

Il manifesto di valutazione fornisce le metriche di previsione dei test per le singole immagini utilizzate per testare un modello. Per ogni immagine nel set di dati del test, una riga JSON contiene le informazioni del test originale (verità fondamentale) e la previsione del modello per l'immagine. Amazon Lookout for Vision archivia il manifesto di valutazione in un bucket Amazon S3. È possibile ottenere la posizione dalEvaluationManifest campo nella risposta dell'DescribeModeloperazione.

"EvaluationManifest": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationManifest-my-sdk-project-1.json"
        }

Il formato del nome del file èEvaluationManifest-project name.json. Per il codice di esempio, consulta Visualizzazione dei modelli.

Nella seguente riga JSON di esempio, questaclass-name è la verità fondamentale per il contenuto dell'immagine. In questo esempio l'immagine contiene un'anomalia. Ilconfidence campo mostra la fiducia che Amazon Lookout for Vision ripone nella previsione. 


{
    "source-ref"*: "s3://customerbucket/path/to/image.jpg",
    "source-ref-metadata": {
        "creation-date": "2020-05-22T21:33:37.201882"
    },
   
    // Test dataset ground truth
    "anomaly-label": 1, 
    "anomaly-label-metadata": {
        "class-name": "anomaly",
        "type": "groundtruth/image-classification",
        "human-annotated": "yes",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "labeling-job/anomaly-detection"
    },
    // Anomaly label detected by Lookout for Vision
    "anomaly-label-detected": 1,
    "anomaly-label-detected-metadata": {
        "class-name": "anomaly",
        "confidence": 0.9,
        "type": "groundtruth/image-classification",
        "human-annotated": "no",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "training-job/anomaly-detection",
        "model-arn": "lookoutvision-some-model-arn",
        "project-name": "lookoutvision-some-project-name",
        "model-version": "lookoutvision-some-model-version"
    }
}

Esame del risultato della valutazione

Il risultato della valutazione presenta le seguenti metriche aggregate delle prestazioni (classificazione) per l'intero set di immagini di test:

Il risultato della valutazione include anche il numero di immagini utilizzate per addestrare e testare il modello.

Se il modello è un modello di segmentazione, il risultato della valutazione include anche le seguenti metriche per ogni etichetta di anomalia trovata nel set di dati del test:

Amazon Lookout for Vision archivia il risultato della valutazione in un bucket Amazon S3. È possibile ottenere la posizione controllando il valore diEvaluationResult nella risposta dell'DescribeModeloperazione.

"EvaluationResult": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationResult-my-sdk-project-1.json"
        }

Il formato del nome del file èEvaluationResult-project name.json. Per un esempio, consulta Visualizzazione dei modelli.

Lo schema seguente mostra il risultato della valutazione.

    {
        "Version": 1,
        "EvaluationDetails":
        {
            "ModelArn": "string", // The Amazon Resource Name (ARN) of the model version.
            "EvaluationEndTimestamp": "string",   // The UTC date and time that evaluation finished.
            "NumberOfTrainingImages": int,        // The number of images that were successfully used for training.
            "NumberOfTestingImages": int          // The number of images that were successfully used for testing.
        },
        "AggregatedEvaluationResults":
        {
            "Metrics":
            {                       //Classification metrics.
                "ROCAUC": float,            // ROC area under the curve.
                "AveragePrecision": float,  // The average precision of the model.
                "Precision": float,         // The overall precision of the model.
                "Recall": float,            // The overall recall of the model.
                "F1Score": float,           // The overal F1 score for the model.
                
                "PixelAnomalyClassMetrics":     //Segmentation metrics.
                [
                    {
                        "Precision": float,       // The precision for the anomaly label.
                        "Recall": float,          // The recall for the anomaly label.
                        "F1Score": float,         // The F1 score for the anomaly label.
                        "AIOU" : float,           // The average Intersection Over Union for the anomaly label.
                        "ClassName": "string"   // The anomaly label.
                    }
                ]
            }
        }
    }