Não estamos mais atualizando o serviço Amazon Machine Learning nem aceitando novos usuários para ele. Essa documentação está disponível para usuários existentes, mas não estamos mais atualizando-a. Para obter mais informações, consulte O que é o Amazon Machine Learning.

Insights do modelo multiclasse

Interpretação das previsões

A saída real de um algoritmo de classificação multiclasse é um conjunto de pontuações de previsões. As pontuações indicam a certeza do modelo de que determinada observação pertence a cada uma das classes. Diferentemente dos problemas de classificação binária, você não precisa escolher uma pontuação de corte para fazer previsões. A resposta prevista é a classe (por exemplo, rótulo) com a maior pontuação prevista.

Medição da precisão do modelo de ML

As métricas comuns usadas em multiclasse são as mesmas usadas no caso da classificação binária após o cálculo da média das métricas em todas as classes. No Amazon ML, a pontuação F1 de média macro é usada para avaliar a precisão preditiva de uma métrica multiclasse.

Pontuação F1 de média macro

A pontuação F1 é uma métrica de classificação binária que considera tanto a precisão das métricas binárias como sua recuperação. Ela é a média harmônica entre precisão e recuperação. O intervalo é de 0 a 1. Um valor maior indica melhor precisão preditiva:

A F1 de média macro é a média não ponderada da pontuação F1 em todas as classes no caso multiclasse. Ela não leva em conta a frequência da ocorrência das classes no conjunto de dados de avaliação. Um valor maior indica melhor precisão preditiva. O exemplo a seguir mostra K classes na fonte de dados de avaliação:

Pontuação F1 de média macro basal

O Amazon ML fornece uma métrica basal para modelos multiclasse. Ela é a pontuação F1 de média macro para um modelo multiclasse hipotético que sempre prevê a classe mais frequente como resposta. Por exemplo, se você previu o gênero de um filme e o gênero mais comum em seus dados de treinamento era Romance, o modelo basal sempre preverá o gênero como Romance. Compare seu modelo de ML com essa linha de base para validar se o seu modelo de ML é melhor do que um modelo de ML que prevê essa resposta constante.

Uso da visualização de desempenho

O Amazon ML fornece uma matriz de confusão como uma maneira de visualizar a exatidão de modelos de previsão de classificação multiclasse. A matriz de confusão ilustra em uma tabela o número ou a porcentagem de previsões corretas e incorretas para cada classe comparando a classe prevista de uma observação com sua classe verdadeira.

Por exemplo, se você estiver tentando classificar um filme em um gênero, o modelo preditivo pode prever que o gênero (classe) é Romance. Na verdade, porém, o gênero verdadeiro pode ser Suspense. Quando você avalia a precisão de um modelo de ML de classificação multiclasse, o Amazon ML identifica essas classificações erradas e exibe os resultados na matriz de confusão, como mostrado na ilustração a seguir.

As seguintes informações são exibidas em uma matriz de confusão:

O console do Amazon ML fornece uma exibição visual que acomoda até 10 classes na matriz de confusão, listadas da mais frequente para a menos frequente nos dados de avaliação. Se os seus dados têm mais de 10 classes, você verá as 9 classes mais frequentes na confusão matriz e todas as outras classes serão recolhidas em uma classe chamada "outras". O Amazon ML também fornece a capacidade de fazer download de toda a matriz de confusão usando um link na página de visualizações multiclasse.