Aviso de fim do suporte: em 31 de outubro de 2025, o suporte para o Amazon Lookout for Vision AWS será interrompido. Depois de 31 de outubro de 2025, você não poderá mais acessar o console do Lookout for Vision ou os recursos do Lookout for Vision. Para obter mais informações, visite esta postagem do blog.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Melhoria de um modelo do Amazon Lookout for Vision
Durante o treinamento, o Lookout for Vision testa seu modelo com o conjunto de dados de teste e usa os resultados para criar métricas de desempenho. Você pode usar métricas de desempenho para avaliar o desempenho do seu modelo. Se necessário, você pode tomar medidas para melhorar seus conjuntos de dados e, em seguida, retreinar seu modelo.
Se estiver satisfeito com o desempenho do seu modelo, poderá começar a usá-lo. Para obter mais informações, consulte Executando seu modelo treinado do Amazon Lookout for Vision.
Tópicos
Etapa 1: Avalie o desempenho do seu modelo
Você pode acessar as métricas de desempenho no console e na operação DescribeModel. O Amazon Lookout for Vision fornece métricas resumidas de desempenho para o conjunto de dados de teste e os resultados previstos para todas as imagens individuais. Se seu modelo for um modelo de segmentação, o console também mostrará métricas resumidas para cada rótulo de anomalia.
Para ver as métricas de desempenho e as previsões de imagens de teste no console, consulte Visualização de métricas de desempenho (console). Para obter informações sobre como acessar métricas de desempenho e previsões de imagens de teste com a operação DescribeModel, consulte Visualização de métricas de performance.
Métricas de classificação
O Amazon Lookout for Vision fornece as seguintes métricas resumidas para as classificações que um modelo faz durante o teste:
Métricas do modelo de segmentação de imagens
Se o modelo for um modelo de segmentação de imagens, o Amazon Lookout for Vision fornece métricas resumidas de classificação de imagens e métricas resumidas de desempenho para cada rótulo de anomalia:
Precisão
A métrica de precisão responde à pergunta: quando o modelo prevê que uma imagem contém uma anomalia, com que frequência essa previsão está correta?
A precisão é uma métrica útil para situações em que o custo de um falso positivo é alto. Por exemplo, o custo de remover uma peça da máquina que não está com defeito de uma máquina montada.
O Amazon Lookout for Vision fornece um valor métrico de precisão resumida para todo o conjunto de dados de teste.
A precisão é a fração de anomalias previstas corretamente (verdadeiros positivos) sobre todas as anomalias previstas (verdadeiros e falsos positivos). A fórmula para precisão é a seguinte.
Valor de precisão = verdadeiros positivos/ (verdadeiros positivos + falsos positivos)
Os valores possíveis para precisão variam de 0 a 1. O console Amazon Lookout for Vision exibe a precisão como um valor percentual (0—100).
Um valor de precisão mais alto indica que mais anomalias previstas estão corretas. Por exemplo, suponha que seu modelo preveja que 100 imagens são anômalas. Se 85 das previsões estiverem corretas (os verdadeiros positivos) e 15 estiverem incorretas (os falsos positivos), a precisão será calculada da seguinte forma:
85 verdadeiros positivos / (85 verdadeiros positivos + 15 falsos positivos) = valor de precisão de 0,85
No entanto, se o modelo prediz apenas 40 imagens corretamente de 100 previsões de anomalias, o valor de precisão resultante será menor em 0,40 (ou seja, 40 / (40 + 60) = 0,40). Nesse caso, seu modelo está fazendo mais previsões incorretas do que previsões corretas. Para corrigir isso, considere fazer melhorias em seu modelo. Para obter mais informações, consulte Etapa 2: Melhore seu modelo.
Para obter mais informações, consulte Precisão e recall
Recall
A métrica de recall responde à pergunta: Do número total de imagens anômalas no conjunto de dados de teste, quantas são corretamente previstas como anômalas?
A métrica de recall é útil para situações em que o custo de um falso negativo é alto. Por exemplo, quando o custo de não remover uma peça defeituosa é alto. O Amazon Lookout for Vision fornece um valor resumido da métrica de recall para todo o conjunto de dados de teste.
O recall é a fração das imagens de teste anômalas que foram detectadas corretamente. É uma medida da frequência com que o modelo pode prever corretamente uma imagem anômala, quando ela está realmente presente nas imagens do seu conjunto de dados de teste. A fórmula para recall é calculada da seguinte forma:
Valor de recuperação = verdadeiros positivos/ (verdadeiros positivos+falsos negativos)
O intervalo para recall é de 0 a 1. O console Amazon Lookout for Vision exibe o recall como um valor percentual (0—100).
Um valor de recall mais alto indica que mais imagens anômalas foram identificadas corretamente. Por exemplo, suponha que o conjunto de dados de teste contenha 100 imagens anômalas. Se o modelo detectar corretamente 90 das 100 imagens anômalas, o recall será o seguinte:
90 verdadeiros positivos / (90 verdadeiros positivos + 10 falsos negativos) = valor de recall de 0,90
Um valor de recall de 0,90 indica que seu modelo está prevendo corretamente a maioria das imagens anômalas no conjunto de dados de teste. Se o modelo predizer corretamente apenas 20 das imagens anômalas, o recall será menor em 0,20 (ou seja, 20 / (20 + 80) = 0,20).
Nesse caso, considere a possibilidade de aprimorar seu modelo. Para obter mais informações, consulte Etapa 2: Melhore seu modelo.
Para obter mais informações, consulte Precisão e revocação
Pontuação de F1
O Amazon Lookout for Vision fornece uma pontuação média de desempenho do modelo para o conjunto de dados de teste. Especificamente, o desempenho do modelo para classificação de anomalias é medido pela métrica de pontuação F1, que é a média harmônica das pontuações de precisão e recall.
A pontuação F1 é uma medida agregada que leva em consideração a precisão e o recall. A pontuação de performance do modelo é um valor entre 0 e 1. Quanto maior o valor, melhor o desempenho do modelo em termos de recuperação e precisão. Por exemplo, para um modelo com precisão de 0,9 e recall de 1,0, a pontuação F1 é 0,947.
Se o modelo não estiver funcionando bem, por exemplo, com uma baixa precisão de 0,30 e um alto recall de 1,0, a pontuação F1 é 0,46. Da mesma forma, se a precisão for alta (0,95) e o recall for baixo (0,20), a pontuação F1 será 0,33. Em ambos os casos, a pontuação na F1 é baixa, o que indica problemas com o modelo.
Para obter mais informações, consulte pontuação F1
Interseção média sobre a União (IoU)
A porcentagem média de sobreposição entre as máscaras de anomalia nas imagens de teste e as máscaras de anomalia que o modelo prevê para as imagens de teste. O Amazon Lookout for Vision retorna a média de IoU para cada etiqueta de anomalia e só é retornada por modelos de segmentação de imagem.
Um valor percentual baixo indica que o modelo não está combinando com precisão as máscaras previstas para uma etiqueta com as máscaras nas imagens de teste.
A imagem a seguir tem um IOU baixo. A máscara laranja é a previsão do modelo e não cobre bem a máscara azul que representa a máscara em uma imagem de teste.
A imagem a seguir tem um IOU maior. A máscara azul (imagem de teste) está bem coberta pela máscara laranja (máscara prevista).
Resultados dos testes
Durante o teste, o modelo prevê a classificação de cada imagem de teste no conjunto de dados de teste. O resultado de cada previsão é comparado ao rótulo (normal ou anomalia) da imagem de teste correspondente da seguinte forma:
Prever corretamente que uma imagem é anômala é considerado um verdadeiro positivo.
Prever incorretamente que uma imagem é anômala é considerado falso positivo.
Prever corretamente que uma imagem é normal é considerado um verdadeiro negativo.
Prever incorretamente que uma imagem é normal é considerado um falso negativo.
Se o modelo for um modelo de segmentação, ele também prevê máscaras e rótulos de anomalias para a localização das anomalias na imagem de teste.
O Amazon Lookout for Vision usa os resultados das comparações para gerar as métricas de desempenho.
Etapa 2: Melhore seu modelo
As métricas de desempenho podem mostrar que você pode melhorar seu modelo. Por exemplo, se o modelo não detectar todas as anomalias no conjunto de dados de teste, seu modelo tem baixa recuperação (ou seja, a métrica de recuperação tem um valor baixo). Se precisar melhorar seu modelo, considere o seguinte:
Verifique se as imagens do conjunto de dados de treinamento e teste estão devidamente rotuladas.
Reduza a variabilidade das condições de captura de imagem, como iluminação e pose do objeto, e treine seu modelo em objetos do mesmo tipo.
Certifique-se de que suas imagens mostrem somente o conteúdo necessário. Por exemplo, se seu projeto detectar anomalias em peças de máquinas, certifique-se de que nenhum outro objeto esteja em suas imagens.
Adicione mais imagens rotuladas aos seus conjuntos de dados de treinamento e teste. Se seu conjunto de dados de teste tem excelente recuperação e precisão, mas o modelo tem um desempenho ruim quando implantado, seu conjunto de dados de teste pode não ser representativo o suficiente e você precisa ampliá-lo.
-
Se seu conjunto de dados de teste resultar em recuperação e precisão insuficientes, considere a correspondência entre as anomalias e as condições de captura de imagem nos conjuntos de dados de treinamento e teste. Se suas imagens de treinamento não representarem as anomalias e condições esperadas, mas as imagens nas imagens de teste sim, adicione imagens ao conjunto de dados de treinamento com as anomalias e condições esperadas. Se as imagens do conjunto de dados de teste não estiverem nas condições esperadas, mas as imagens de treinamento estiverem, atualize o conjunto de dados de teste.
Para obter mais informações, consulte Adicionando mais imagens. Uma forma alternativa de adicionar imagens rotuladas ao seu conjunto de dados de treinamento é executar uma tarefa de detecção de teste e verificar os resultados. Em seguida, você pode adicionar as imagens verificadas ao conjunto de dados de treinamento. Para obter mais informações, consulte Verificando seu modelo com uma tarefa de detecção de teste.
Certifique-se de ter imagens normais e anômalas suficientemente diversas em seu conjunto de dados de treinamento e teste. As imagens devem representar o tipo de imagem normal e anômala que seu modelo encontrará. Por exemplo, ao analisar placas de circuito, suas imagens normais devem representar as variações na posição e na soldagem dos componentes, como resistores e transistores. As imagens anômalas devem representar os diferentes tipos de anomalias que o sistema pode encontrar, como componentes perdidos ou perdidos.
-
Se seu modelo tiver uma média baixa de IOU para os tipos de anomalias detectados, verifique as saídas da máscara do modelo de segmentação. Para alguns casos de uso, como arranhões, o modelo pode produzir arranhões muito próximos aos arranhões reais nas imagens de teste, mas com uma baixa sobreposição de pixels. Por exemplo, duas linhas paralelas separadas por 1 pixel de distância. Nesses casos, o IOU médio é um indicador não confiável para medir o sucesso da previsão.
-
Se o tamanho da imagem for pequeno ou a resolução da imagem for baixa, considere capturar imagens em uma resolução maior. As dimensões da imagem podem variar de 64 x 64 pixels até 4096 pixels x 4096 pixels.
-
Se o tamanho da anomalia for pequeno, considere dividir as imagens em blocos separados e usar as imagens lado a lado para treinamento e teste. Isso permite que o modelo veja defeitos em um tamanho maior em uma imagem.
Depois de melhorar seu conjunto de dados de treinamento e teste, treine novamente e reavalie seu modelo. Para obter mais informações, consulte Treinamento de seu modelo.
Se as métricas mostrarem que seu modelo tem desempenho aceitável, você pode verificar seu desempenho adicionando os resultados de uma tarefa de detecção de teste ao conjunto de dados de teste. Após a reciclagem, as métricas de desempenho devem confirmar as métricas de desempenho do treinamento anterior. Para obter mais informações, consulte Verificando seu modelo com uma tarefa de detecção de teste.
