Visualização de métricas de performance - Amazon Lookout for Vision
Visualização de métricas de desempenho (console)Visualização de métricas de performance

Aviso de fim do suporte: em 31 de outubro de 2025, o suporte para o Amazon Lookout for Vision AWS será interrompido. Depois de 31 de outubro de 2025, você não poderá mais acessar o console do Lookout for Vision ou os recursos do Lookout for Vision. Para obter mais informações, visite esta postagem do blog.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Visualização de métricas de performance

Você pode obter métricas de desempenho no console e chamando a operação DescribeModel.

Visualização de métricas de desempenho (console)

Depois que o treinamento for concluído, o console exibirá as métricas de desempenho.

O console Amazon Lookout for Vision mostra as seguintes métricas de desempenho para as classificações feitas durante os testes:

Se o modelo for um modelo de segmentação, o console também mostrará as seguintes métricas de desempenho para cada rótulo de anomalia:

A seção de visão geral dos resultados do teste mostra o total de previsões corretas e incorretas para imagens no conjunto de dados de teste. Você também pode ver as atribuições de etiquetas previstas e reais para imagens individuais no conjunto de dados de teste.

O procedimento a seguir mostra como obter as métricas de performance da visualização da lista de modelos de um projeto.

Para visualizar as métricas de performance

  1. Abra o console Amazon Lookout for Vision em https://console.aws.amazon.com/lookoutvision/.

  2. Escolha Comece a usar.

  3. No painel de navegação à esquerda, escolha Projetos.

  4. Na visualização de projetos, escolha o projeto que contém a versão do modelo que você deseja visualizar.

  5. No painel de navegação, abaixo do nome do projeto, escolha Modelos.

  6. Na visualização da lista de modelos, escolha as versões do modelo que você deseja visualizar.

  7. Na página de detalhes do modelo, visualize as métricas de desempenho na guia Métricas de desempenho.

  8. Observe o seguinte:

    1. A seção Métricas de desempenho do modelo do modelo contém métricas gerais do modelo (precisão, recall, pontuação F1) para as previsões de classificação que o modelo fez para as imagens de teste.

    2. Se o modelo for um modelo de segmentação de imagem, a seção Desempenho por etiqueta conterá o número de imagens de teste nas quais a etiqueta de anomalia foi encontrada. Você também vê métricas (pontuação F1, média de IOU) para cada rótulo de anomalia.

    3. A seção Visão geral dos resultados do teste fornece os resultados de cada imagem de teste que o Lookout for Vision usa para avaliar o modelo. A tabela inclui os seguintes campos:

      • O número total de previsões de classificação corretas (verdadeiro positivo) e incorretas (falso negativo) (normal ou anomalia) para todas as imagens de teste.

      • A previsão de classificação para cada imagem de teste. Se você ver Correto abaixo de uma imagem, a classificação prevista corresponde à classificação real da imagem. Caso contrário, o modelo não classificou corretamente a imagem.

      • Com um modelo de segmentação de imagem, você vê rótulos de anomalia que o modelo atribuiu à imagem e máscaras na imagem que correspondem às cores dos rótulos de anomalia.

Visualização de métricas de performance

Você pode usar a operação DescribeModel para obter as métricas de desempenho resumidas (classificação) do modelo, o manifesto da avaliação e os resultados da avaliação de um modelo.

Obtendo as métricas resumidas de desempenho

As métricas resumidas de desempenho das previsões de classificação feitas pelo modelo durante o teste (Precisão,Recall e Pontuação de F1) são retornadas no Performance campo retornado por uma chamada para DescribeModel.

        "Performance": {
            "F1Score": 0.8,
            "Recall": 0.8,
            "Precision": 0.9
        },

O campo Performance não inclui as métricas de desempenho do rótulo de anomalia retornadas por um modelo de segmentação. Você pode obtê-los do campo EvaluationResult. Para obter mais informações, consulte Analisando o resultado da avaliação.

Para obter informações sobre métricas resumidas de desempenho, consulte Etapa 1: Avalie o desempenho do seu modelo. Para ver um código demonstrativo, consulte Visualizando seus modelos (SDK).

Usando o manifesto de avaliação

O manifesto de avaliação fornece métricas de previsão de teste para as imagens individuais usadas para testar um modelo. Para cada imagem no conjunto de dados de teste, uma linha JSON contém as informações originais do teste (verdade fundamental) e a previsão do modelo para a imagem. O Amazon Lookout for Vision armazena o manifesto de avaliação em um bucket do Amazon S3. Você pode obter a localização do campo EvaluationManifest na resposta da operação DescribeModel.

"EvaluationManifest": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationManifest-my-sdk-project-1.json"
        }

O formato final do nome do arquivo é EvaluationManifest-project name.json. Para ver um código demonstrativo, consulte Visualizar as modelos.

No exemplo de linha JSON a seguir, essa class-name é a verdade fundamental para o conteúdo da imagem. Neste exemplo, a imagem contém uma anomalia. O campo confidence mostra a confiança que o Amazon Lookout for Vision tem na previsão. 


{
    "source-ref"*: "s3://customerbucket/path/to/image.jpg",
    "source-ref-metadata": {
        "creation-date": "2020-05-22T21:33:37.201882"
    },
   
    // Test dataset ground truth
    "anomaly-label": 1, 
    "anomaly-label-metadata": {
        "class-name": "anomaly",
        "type": "groundtruth/image-classification",
        "human-annotated": "yes",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "labeling-job/anomaly-detection"
    },
    // Anomaly label detected by Lookout for Vision
    "anomaly-label-detected": 1,
    "anomaly-label-detected-metadata": {
        "class-name": "anomaly",
        "confidence": 0.9,
        "type": "groundtruth/image-classification",
        "human-annotated": "no",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "training-job/anomaly-detection",
        "model-arn": "lookoutvision-some-model-arn",
        "project-name": "lookoutvision-some-project-name",
        "model-version": "lookoutvision-some-model-version"
    }
}

Analisando o resultado da avaliação

O resultado da avaliação tem as seguintes métricas de desempenho agregadas (classificação) para todo o conjunto de imagens de teste:

O resultado da avaliação também inclui o número de imagens usadas para treinar e testar o modelo.

Se o modelo for um modelo de segmentação, o resultado da avaliação também incluirá as seguintes métricas para cada rótulo de anomalia encontrado no conjunto de dados de teste:

O Amazon Lookout for Vision armazena o resultado da avaliação em um bucket do Amazon S3. Você pode obter a localização verificando o valor de EvaluationResult na resposta da operação DescribeModel.

"EvaluationResult": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationResult-my-sdk-project-1.json"
        }

O formato do nome do arquivo é EvaluationResult-project name.json. Para ver um exemplo, consulte Visualizar as modelos.

O esquema a seguir mostra o resultado da avaliação.

    {
        "Version": 1,
        "EvaluationDetails":
        {
            "ModelArn": "string", // The Amazon Resource Name (ARN) of the model version.
            "EvaluationEndTimestamp": "string",   // The UTC date and time that evaluation finished.
            "NumberOfTrainingImages": int,        // The number of images that were successfully used for training.
            "NumberOfTestingImages": int          // The number of images that were successfully used for testing.
        },
        "AggregatedEvaluationResults":
        {
            "Metrics":
            {                       //Classification metrics.
                "ROCAUC": float,            // ROC area under the curve.
                "AveragePrecision": float,  // The average precision of the model.
                "Precision": float,         // The overall precision of the model.
                "Recall": float,            // The overall recall of the model.
                "F1Score": float,           // The overal F1 score for the model.
                
                "PixelAnomalyClassMetrics":     //Segmentation metrics.
                [
                    {
                        "Precision": float,       // The precision for the anomaly label.
                        "Recall": float,          // The recall for the anomaly label.
                        "F1Score": float,         // The F1 score for the anomaly label.
                        "AIOU" : float,           // The average Intersection Over Union for the anomaly label.
                        "ClassName": "string"   // The anomaly label.
                    }
                ]
            }
        }
    }