As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Avaliando e melhorando seus adaptadores
Depois de concluir o processo de treinamento e criar seu adaptador, é importante avaliar o quão bem o adaptador está extraindo as informações dos seus documentos.
Métricas de performance
Três métricas são fornecidas no console do Amazon Textract para ajudá-lo a analisar o desempenho do seu adaptador:
-
Precisão - A precisão mede a porcentagem de informações extraídas (previsões) que estão corretas. Quanto maior a classificação de precisão, menos falsos positivos existem.
-
Recall - O recall mede a porcentagem do total de itens relevantes que foram identificados e extraídos com sucesso pelo modelo. Quanto maior o valor de recall, menos falsos negativos existem.
-
Pontuação F1 - A pontuação F1 combina precisão e recuperação em uma única métrica, fornecendo uma medição balanceada para a precisão geral da extração.
Os valores dessas medições variam de 0 a 1, com 1 sendo a extração perfeita.
Essas métricas são calculadas comparando as extrações do adaptador com as anotações de "verdade fundamental" no conjunto de teste. Ao analisar o F1, a precisão e o recall, você pode determinar onde o adaptador precisa ser aprimorado.
Por exemplo, baixa precisão significa que muitas das previsões do modelo são falsos positivos, portanto, o adaptador está extraindo dados irrelevantes. Por outro lado, um valor de recall baixo significa que o modelo não tem dados relevantes. Usando esses insights, você pode refinar os dados de treinamento e treinar novamente o adaptador para aumentar o desempenho.
Você também pode verificar o desempenho do seu modelo testando-o com novos documentos e consultas especificados por você. Use a opção Try Adapter no console para obter previsões para esses documentos. Dessa forma, você pode avaliar o adaptador com suas próprias consultas e documentos de teste e ver exemplos reais do desempenho do adaptador.
Você também pode recuperar métricas para uma versão do adaptador usando a GetAdapterVersionoperação usando um SDK ou a CLI. Obtenha uma lista dos adaptadores para os quais você deseja recuperar métricas usando a operação da ListAdapterVersionsAPI. Exclua um adaptador que você não precisa mais com a DeleteAdapterVersionoperação.
Melhorar o modelo
A implantação do adaptador é um processo iterativo, pois você provavelmente precisará se retreinar várias vezes para atingir o nível de precisão desejado. Depois de criar e treinar seu adaptador, você vai querer testar e avaliar o desempenho do seu adaptador em várias métricas e consultas.
Se a precisão do seu adaptador estiver ausente em alguma área, adicione novos exemplos desses documentos para aumentar o desempenho do adaptador para essas consultas. Tente fornecer ao adaptador exemplos adicionais e variados que reflitam os casos em que ele apresenta problemas. Fornecer ao seu adaptador documentos representativos e variados permite que ele manipule diversos exemplos do mundo real.
Depois de adicionar novos documentos ao seu conjunto de treinamento, treine novamente o adaptador. Em seguida, reavalie seu conjunto de testes e consultas. Repita esse processo até que o adaptador atinja o nível de desempenho desejado. A precisão, o recall e as pontuações de F1 devem melhorar gradualmente ao longo das sucessivas iterações de treinamento.
