Não estamos mais atualizando o serviço Amazon Machine Learning nem aceitando novos usuários para ele. Essa documentação está disponível para usuários existentes, mas não estamos mais atualizando-a. Para obter mais informações, consulte O que é o Amazon Machine Learning.
Etapa 4: Analisar o desempenho preditivo do modelo de ML e definir um limite de pontuação
Agora que você criou seu modelo de ML e o Amazon Machine Learning (Amazon ML) o avaliou, veremos se ele é suficientemente bom para ser colocado em uso. Durante a avaliação, o Amazon ML calculou uma métrica de qualidade padrão do setor, chamada Área em uma Curva (AUC), que expressa a qualidade do desempenho de seu modelo de ML. O Amazon ML também interpreta a métrica AUC para informar se a qualidade do modelo de ML é adequada para a maioria das aplicações de machine learning. (Saiba mais sobre AUC em Medição da precisão do modelo de ML.) Vamos analisar a métrica AUC e ajustar o limite de pontuação ou de corte para otimizar o desempenho preditivo do modelo.
Para analisar a métrica AUC de seu modelo de ML
-
Na página ML model summary (Resumo do modelo de ML), no painel de navegação ML model report (Relatório do modelo de ML), escolha Evaluations (Avaliações), Evaluation: ML model: Banking model 1 (Avaliação: modelo de ML: modelo bancário 1) e Summary (Resumo).
-
Na página Evaluation summary (Resumo da avaliação), analise o resumo da avaliação, inclusive a métrica de desempenho AUC do modelo.
O modelo de ML gera pontuações de previsão numérica para cada registro em uma fonte de dados de previsão e, em seguida, aplica um limite para converter essas pontuações em rótulos binários de 0 (para não) ou 1 (para sim). Alterando o limite de pontuação, você pode ajustar o modo como o modelo de ML atribui esses rótulos. Agora, defina o limite de pontuação.
Para definir um limite de pontuação para seu modelo de ML
-
Na página Evaluation Summary (Resumo da avaliação), escolha Adjust Score Threshold (Ajustar limite de pontuação).
Você pode ajustar as métricas de desempenho de seu modelo de ML ajustando o limite de pontuação. O ajuste desse valor muda o nível de confiança que o modelo deve ter em uma previsão antes de considerá-la como positiva. Ele também altera a quantidade de falsos negativos e falsos positivos que você está disposto a tolerar em suas previsões.
Você pode controlar o limite de corte daquilo que o modelo considera uma previsão positiva aumentando o limite de pontuação até que apenas as previsões com a probabilidade mais alta de serem verdadeiros positivos sejam consideradas como positivas. Você também pode reduzir o limite de pontuação até que não tenha mais falsos negativos. Escolha o limite de corte que refletir as necessidades da sua empresa. Neste tutorial, cada falso positivo representa custos para a campanha, portanto, queremos uma taxa alta entre verdadeiros e falsos positivos.
-
Suponha que você deseja atingir os principais 3% dos clientes que assinam o produto. Deslize o seletor vertical para definir o limite de pontuação como um valor que corresponda a 3% of the records are predicted as "1" (3% dos registros são previstos como "1").
Observe o impacto desse limite de pontuação no desempenho do modelo de ML: a taxa de falsos positivos é 0,007. Vamos supor que essa taxa de falsos positivos seja aceitável.
-
Escolha Save score threshold at 0.77 (Salvar limite de pontuação a 0,77).
Sempre que você usa o modelo de ML para fazer previsões, ele prevê os registros com pontuações superiores a 0,77 como "1" e os outros registros como "0".
Para saber mais sobre o limite de pontuação, consulte Classificação binária.
Agora você está pronto para criar previsões usando o modelo.
