Referência de métricas

InferenceLatency — O tempo aproximado entre fazer uma solicitação de previsão do modelo e recebê-la de um endpoint em tempo real no qual o modelo é implantado. Essa métrica é medida em segundos e está disponível somente para modelos criados com o modo Ensembling.

MAE: Erro absoluto médio. Em média, a predição para a coluna de destino é +/- {MAE} a partir do valor real.

Mede a diferença entre os valores previstos e reais quando são calculadas a média de todos os valores. O MAE é comumente usado na predição numérica para entender o erro de predição dos modelos. Se as predições forem lineares, o MAE representa a distância média de uma linha prevista até o valor real. O MAE é definido como a soma dos erros absolutos dividida pelo número de observações. Os valores variam de 0 a infinito, com números menores indicando um melhor ajuste do modelo aos dados.

MAPE: Erro percentual absoluto médio. Em média, a predição para a coluna de destino é +/- {MAPE} % a partir do valor real.

MAPE é a média das diferenças absolutas entre os valores reais e os valores previstos ou estimados, dividida pelos valores reais e expressos em porcentagem. Um MAPE menor indica melhor desempenho, pois significa que os valores previstos ou estimados estão mais próximos dos valores reais.

MSE: Erro quadrático médio, ou a média das diferenças quadradas entre os valores previstos e reais.

Os valores do MSE são sempre positivos. Quanto melhor for o modelo em prever os valores reais, menor será o valor do MSE.

R2: A porcentagem da diferença na coluna de destino que pode ser explicada pela coluna de entrada.

Quantifica o quanto um modelo pode explicar a variância de uma variável dependente. Os valores variam de um (1) a menos um (-1). Números maiores indicam uma fração mais alta da variabilidade explicada. Valores próximos a zero (0) indicam que muito pouco da variável dependente pode ser explicado pelo modelo. Valores negativos indicam um ajuste ruim, e que o modelo é superado por uma função constante (ou uma linha horizontal).

RMSE: Raiz do erro quadrático médio ou o desvio padrão dos erros.

Mede a raiz quadrada da diferença quadrada entre os valores previstos e reais e é calculada a média de todos os valores. É usado para entender o erro da predição de modelo e é uma métrica importante para indicar a presença de grandes erros e valores atípicos no modelo. Os valores variam de zero (0) ao infinito, com números menores indicando um melhor ajuste do modelo aos dados. O RMSE depende da escala e não deve ser usado para comparar conjuntos de dados de tamanhos diferentes.

Precisão: A porcentagem de predições corretas.

A proporção do número de predições corretas para o número total de predições feitas. A precisão mede o quão próximos estão os valores de classe previstos dos valores reais. Os valores das métricas de precisão variam entre zero (0) e um (1). Um valor de 1 indica precisão perfeita e 0 indica imprecisão perfeita.

AUC: Um valor entre 0 e 1 que indica o quão bem seu modelo é capaz de separar as categorias em seu conjunto de dados. Um valor de 1 indica que ele foi capaz de separar as categorias perfeitamente.

BalancedAccuracy — Mede a proporção de previsões precisas em relação a todas as previsões.

Essa razão é calculada após a normalização de positivos verdadeiros (TP) e negativos verdadeiros (TN) pelo número total de valores positivos (P) e negativos (N). É definido da seguinte forma: 0.5*((TP/P)+(TN/N)), com valores que variam de 0 a 1. A métrica de precisão equilibrada fornece uma melhor medida de precisão quando o número de positivos ou negativos difere muito um do outro em um conjunto de dados não equilibrado, como quando apenas 1% dos e-mails são spam.

F1: uma medida equilibrada de precisão que leva em consideração o saldo para a conta.

Ele é a média harmônica das pontuações de precisão e recall, definida da seguinte forma: F1 = 2 * (precision * recall) / (precision + recall). As pontuações F1 variam entre 0 e 1. Uma pontuação de 1 indica o melhor desempenho possível, e 0 indica o pior.

InferenceLatency — O tempo aproximado entre fazer uma solicitação de previsão do modelo e recebê-la de um endpoint em tempo real no qual o modelo é implantado. Essa métrica é medida em segundos e está disponível somente para modelos criados com o modo Ensembling.

LogLoss — A perda de log, também conhecida como perda de entropia cruzada, é uma métrica usada para avaliar a qualidade das saídas de probabilidade, em vez das saídas em si. A perda de log é uma métrica importante para indicar quando um modelo faz predições incorretas com altas probabilidades. Os valores variam de 0 a infinito. Um valor de 0 representa um modelo que prevê perfeitamente os dados.

Precisão: de todas as vezes em que {category x} foi prevista, a predição estava correta em {precision}% das vezes.

A precisão mede o quão bem um algoritmo prevê os positivos verdadeiros (TP) de todos os positivos que ele identifica. Ela é definida da seguinte forma: Precision = TP/(TP+FP), com valores que variam de zero (0) a um (1). A precisão é uma métrica importante quando o custo de um falso-positivo é alto. Por exemplo, o custo de um falso-positivo é muito alto se o sistema de segurança de um avião for considerado falsamente seguro para voar. Um falso-positivo (FP) reflete uma predição positiva que, na verdade, é negativa nos dados.

Recall: o modelo previu corretamente que {recall}% seria {category x} quando {target_column} era na verdade {category x}.

O recall mede o quão bem um algoritmo prevê corretamente todos os positivos verdadeiros (TP) em um conjunto de dados. Um positivo verdadeiro é uma predição positiva que também é um valor positivo real nos dados. O recall é definido da seguinte forma: Recall = TP/(TP+FN), com valores que variam de 0 a 1. Pontuações mais altas refletem uma melhor capacidade do modelo de prever positivos verdadeiros (TP) nos dados. Frequentemente, é insuficiente medir somente o recall, porque prever cada saída como um positivo verdadeiro produz uma pontuação de recall perfeita.

Precisão: A porcentagem de predições corretas.

A proporção do número de predições corretas para o número total de predições feitas. A precisão mede o quão próximos estão os valores de classe previstos dos valores reais. Os valores das métricas de precisão variam entre zero (0) e um (1). Um valor de 1 indica precisão perfeita e 0 indica imprecisão perfeita.

BalancedAccuracy — Mede a proporção de previsões precisas em relação a todas as previsões.

Essa razão é calculada após a normalização de positivos verdadeiros (TP) e negativos verdadeiros (TN) pelo número total de valores positivos (P) e negativos (N). É definido da seguinte forma: 0.5*((TP/P)+(TN/N)), com valores que variam de 0 a 1. A métrica de precisão equilibrada fornece uma melhor medida de precisão quando o número de positivos ou negativos difere muito um do outro em um conjunto de dados não equilibrado, como quando apenas 1% dos e-mails são spam.

F1macro: A pontuação F1macro aplica a pontuação F1 calculando a precisão e o recall e, em seguida, tomando sua média harmônica para calcular a pontuação F1 para cada classe. Em seguida, o F1macro calcula a média das pontuações individuais para obter a pontuação F1macro. As pontuações do F1macro variam entre 0 e 1. Uma pontuação de 1 indica o melhor desempenho possível, e 0 indica o pior.

InferenceLatency — O tempo aproximado entre fazer uma solicitação de previsão do modelo e recebê-la de um endpoint em tempo real no qual o modelo é implantado. Essa métrica é medida em segundos e está disponível somente para modelos criados com o modo Ensembling.

LogLoss — A perda de log, também conhecida como perda de entropia cruzada, é uma métrica usada para avaliar a qualidade das saídas de probabilidade, em vez das saídas em si. A perda de log é uma métrica importante para indicar quando um modelo faz predições incorretas com altas probabilidades. Os valores variam de 0 a infinito. Um valor de 0 representa um modelo que prevê perfeitamente os dados.

PrecisionMacro — Mede a precisão calculando a precisão para cada classe e calculando a média das pontuações para obter precisão para várias classes. As pontuações variam de zero (0) a um (1). Pontuações mais altas refletem a capacidade do modelo de prever positivos verdadeiros (TP) a partir de todos os positivos identificados, com a média de várias classes.

RecallMacro — Mede a recordação calculando a recordação para cada classe e calculando a média das pontuações para obter a recordação de várias classes. As pontuações variam de 0 a 1. Pontuações mais altas refletem a capacidade do modelo de prever positivos verdadeiros (TP) em um conjunto de dados, enquanto um positivo verdadeiro reflete uma predição positiva que também é um valor positivo real nos dados. Frequentemente, é insuficiente medir apenas o recall, porque prever cada saída como um positivo verdadeiro produzirá uma pontuação de recall perfeita.

Precisão: A porcentagem de predições corretas.

A proporção do número de predições corretas para o número total de predições feitas. A precisão mede o quão próximos estão os valores de classe previstos dos valores reais. Os valores das métricas de precisão variam entre zero (0) e um (1). Um valor de 1 indica precisão perfeita e 0 indica imprecisão perfeita.

F1: uma medida equilibrada de precisão que leva em consideração o saldo para a conta.

Ele é a média harmônica das pontuações de precisão e recall, definida da seguinte forma: F1 = 2 * (precision * recall) / (precision + recall). As pontuações F1 variam entre 0 e 1. Uma pontuação de 1 indica o melhor desempenho possível, e 0 indica o pior.

Precisão: de todas as vezes em que {category x} foi prevista, a predição estava correta em {precision}% das vezes.

A precisão mede o quão bem um algoritmo prevê os positivos verdadeiros (TP) de todos os positivos que ele identifica. Ela é definida da seguinte forma: Precision = TP/(TP+FP), com valores que variam de zero (0) a um (1). A precisão é uma métrica importante quando o custo de um falso-positivo é alto. Por exemplo, o custo de um falso-positivo é muito alto se o sistema de segurança de um avião for considerado falsamente seguro para voar. Um falso-positivo (FP) reflete uma predição positiva que, na verdade, é negativa nos dados.

Recall: o modelo previu corretamente que {recall}% seria {category x} quando {target_column} era na verdade {category x}.

O recall mede o quão bem um algoritmo prevê corretamente todos os positivos verdadeiros (TP) em um conjunto de dados. Um positivo verdadeiro é uma predição positiva que também é um valor positivo real nos dados. O recall é definido da seguinte forma: Recall = TP/(TP+FN), com valores que variam de 0 a 1. Pontuações mais altas refletem uma melhor capacidade do modelo de prever positivos verdadeiros (TP) nos dados. Frequentemente, é insuficiente medir somente o recall, porque prever cada saída como um positivo verdadeiro produz uma pontuação de recall perfeita.

Perda Quantílica Média Ponderada (wQl): Avalia a previsão calculando a média da precisão nos quantis P10, P50 e P90. Um valor mais baixo indica um modelo mais preciso.

Erro percentual absoluto ponderado (WAPE): A soma do erro absoluto normalizado pela soma da meta absoluta, que mede o desvio geral dos valores previstos dos valores observados. Um valor menor indica um modelo mais preciso, onde WAPE = 0 é um modelo sem erros.

Root Mean Square Error (RMSE): A raiz quadrada dos erros quadráticos médios. Um RMSE mais baixo indica um modelo mais preciso, onde RMSE = 0 é um modelo sem erros.

Erro percentual absoluto médio (MAPE): O erro percentual (diferença percentual do valor médio previsto versus o valor real) calculado em média em todos os pontos temporais. Um valor menor indica um modelo mais preciso, onde MAPE = 0 é um modelo sem erros.

Erro médio absoluto em escala (MASE): O erro médio absoluto da previsão normalizado pelo erro médio absoluto de um método simples de previsão de linha de base. Um valor mais baixo indica um modelo mais preciso, onde MASE < 1 é estimado como melhor do que a linha de base e MASE > 1 é estimado como pior do que a linha de base.