As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Métricas de classificador personalizados
O Amazon Comprehend fornece métricas para ajudar você a estimar o desempenho de um classificador personalizado. O Amazon Comprehend calcula as métricas usando os dados de teste da tarefa de treinamento do classificador. As métricas representam com precisão o desempenho do modelo durante o treinamento, portanto, elas se aproximam do desempenho do modelo para classificação de dados semelhantes.
Use operações de API, como [DescribeDocumentClassifier](https://docs.aws.amazon.com/comprehend/latest/APIReference/API_DescribeDocumentClassifier.html)recuperar as métricas de um classificador personalizado.
**nota**
Consulte [Métricas: Precisão, recall e FScore](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.precision_recall_fscore_support.html) para entender as métricas subjacentes de precisão, recall e pontuação F1. Essas métricas são definidas em nível de classe. O Amazon Comprehend usa a média **macro** para combinar essas métricas no conjunto de testes P, R e F1, conforme discutido a seguir.
**Topics**
+ [Metrics](#cer-doc-class-metrics)
+ [Melhorar o desempenho do seu classificador personalizado](#improving-metrics-doc)
## Metrics
O Amazon Comprehend é compatível com as seguintes métricas:
**Topics**
+ [Precisão](#class-accuracy-metric)
+ [Precisão (precisão macro)](#class-macroprecision-metric)
+ [Recall (recall macro)](#class-macrorecall-metric)
+ [Pontuação F1 (macro pontuação F1)](#class-macrof1score-metric)
+ [Perda de Hamming](#class-hammingloss-metric)
+ [Micro precisão](#class-microprecision-metric)
+ [Micro recall](#class-microrecall-metric)
+ [Pontuação Micro F1](#class-microf1score-metric)
Para visualizar as métricas de um classificador, abra a página **Detalhes do classificador** no console.
### Precisão
A precisão indica a porcentagem de rótulos dos dados de teste que o modelo previu com precisão. Para calcular a precisão, divida o número de rótulos previstos com precisão nos documentos de teste pelo número total de rótulos nos documentos de teste.
Por exemplo
| Rótulo real | Rótulo previsto | Accurate/Incorrect |
| --- | --- | --- |
| 1 | 1 | Preciso |
| 0 | 1 | Incorreto |
| 2 | 3 | Incorreto |
| 3 | 3 | Preciso |
| 2 | 2 | Preciso |
| 1 | 1 | Preciso |
| 3 | 3 | Preciso |
A precisão consiste no número de previsões precisas dividido pelo número geral de amostras de teste = 5/7 = 0,714 ou 71,4%
### Precisão (precisão macro)
A precisão é uma medida da utilidade dos resultados do classificador nos dados do teste. É definido como o número de documentos classificados com precisão, dividido pelo número total de classificações da turma. Alta precisão significa que o classificador retornou resultados significativamente mais relevantes do que resultados irrelevantes.
A métrica de `Precision` também é conhecida como *Precisão macro*.
O exemplo a seguir mostra resultados de precisão para um conjunto de testes.
| Rótulo | Tamanho da amostra | Precisão do rótulo |
| --- | --- | --- |
| Rótulo\_1 | 400 | 0.75 |
| Rótulo\_2 | 300 | 0,80 |
| Rótulo\_3 | 30000 | 0.90 |
| Rótulo\_4 | 20 | 0.50 |
| Rótulo\_5 | 10 | 0,40 |
A métrica de precisão (Precisão macro) para o modelo é, portanto:
```
Macro Precision = (0.75 + 0.80 + 0.90 + 0.50 + 0.40)/5 = 0.67
```
### Recall (recall macro)
Isso indica a porcentagem de categorias corretas em seu texto que o modelo pode prever. Essa métrica vem da média das pontuações de recall de todos os rótulos disponíveis. O recall é uma medida do quanto os resultados do classificador estão completos para os dados do teste.
Um alto recall significa que o classificador retornou a maioria dos resultados relevantes.
A métrica de `Recall` também é conhecida como *Recall macro*.
O exemplo a seguir mostra resultados de recall para um conjunto de testes.
| Rótulo | Tamanho da amostra | Recall de rótulo |
| --- | --- | --- |
| Rótulo\_1 | 400 | 0,70 |
| Rótulo\_2 | 300 | 0,70 |
| Rótulo\_3 | 30000 | 0,98 |
| Rótulo\_4 | 20 | 0,80 |
| Rótulo\_5 | 10 | 0.10 |
A métrica recall (Recall macro) para o modelo é, portanto:
```
Macro Recall = (0.70 + 0.70 + 0.98 + 0.80 + 0.10)/5 = 0.656
```
### Pontuação F1 (macro pontuação F1)
A pontuação F1 é derivada dos valores de `Precision` e de `Recall`. Ele mede a precisão geral do classificador. A pontuação mais alta é 1 e a mais baixa é 0.
*O Amazon Comprehend calcula a Macro pontuação F1*. É a média não ponderada das pontuações F1 dos rótulos. Utilizar o seguinte conjunto de testes como exemplo:
| Rótulo | Tamanho da amostra | Pontuação F1 do rótulo |
| --- | --- | --- |
| Rótulo\_1 | 400 | 0,724 |
| Rótulo\_2 | 300 | 0,824 |
| Rótulo\_3 | 30000 | 0,94 |
| Rótulo\_4 | 20 | 0,62 |
| Rótulo\_5 | 10 | 0,16 |
A Macro F1 Score (macro pontuação F1) para o modelo é calculada da seguinte forma:
```
Macro F1 Score = (0.724 + 0.824 + 0.94 + 0.62 + 0.16)/5 = 0.6536
```
### Perda de Hamming
A fração de rótulos previstos incorretamente. Também é visto como a fração de rótulos incorretos em comparação com o número total de rótulos. Pontuações próximas a zero são melhores.
### Micro precisão
Original:
Semelhante à métrica de precisão, exceto que a micro precisão é baseada na pontuação geral de todas as pontuações de precisão somadas.
### Micro recall
Semelhante à métrica de recall, exceto que o micro recall é baseado na pontuação geral de todas as pontuações de recall somadas.
### Pontuação Micro F1
A Pontuação Micro F1 é uma combinação das métricas de micro precisão e micro recall.
## Melhorar o desempenho do seu classificador personalizado
As métricas fornecem uma visão sobre o desempenho do seu classificador personalizado durante uma tarefa de classificação. Se as métricas forem baixas, o modelo de classificação pode não ser eficaz para seu caso de uso. Você tem várias opções para melhorar o desempenho do classificador:
1. Em seus dados de treinamento, dê exemplos concretos que definam uma separação clara das categorias. Por exemplo, forneça documentos que usem exclusivos words/sentences para representar a categoria.
1. Adicione mais dados para rótulos pouco representados em seus dados de treinamento.
1. Tente reduzir a distorção nas categorias. Se o maior rótulo em seus dados tiver mais de 10 vezes os documentos no menor rótulo, tente aumentar o número de documentos para o menor rótulo. Reduza a taxa de inclinação para no máximo 10:1 entre classes altamente representadas e menos representadas. Você também pode remover documentos de entrada das classes altamente representadas.