As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Avaliando e melhorando seus adaptadores
Depois de concluir o processo de treinamento e criar seu adaptador, é importante avaliar o quão bem o adaptador está extraindo as informações de seus documentos.
Métricas de performance
Três métricas são fornecidas no console do Amazon Textract para ajudá-lo a analisar o desempenho do seu adaptador:
-
Precisão - A precisão mede a porcentagem de informações extraídas (previsões) que estão corretas. Quanto maior a classificação de precisão, menos falsos positivos existem.
-
Recall - O recall mede a porcentagem do total de itens relevantes que são identificados e extraídos com sucesso pelo modelo. Quanto maior o valor de recall, menos falsos negativos existem.
-
Pontuação F1 - A pontuação F1 combina precisão e recuperação em uma única métrica, fornecendo uma medição balanceada para a precisão geral da extração.
Os valores dessas medidas variam de 0 a 1, sendo 1 uma extração perfeita.
Essas métricas são calculadas comparando as extrações do adaptador com as anotações de "verdade fundamental" no conjunto de teste. Ao analisar a F1, a precisão e a recuperação, você pode determinar onde o adaptador precisa ser aprimorado.
Por exemplo, baixa precisão significa que muitas das previsões do modelo são falsos positivos, portanto, o adaptador está extraindo dados irrelevantes. Em contraste, um valor de recall baixo significa que o modelo não tem dados relevantes. Usando esses insights, você pode refinar os dados de treinamento e treinar novamente o adaptador para aumentar o desempenho.
Você também pode verificar o desempenho do seu modelo testando-o com novos documentos e consultas que você especificar. Use a opção Testar adaptador no console para obter previsões para esses documentos. Dessa forma, você pode avaliar o adaptador com suas próprias consultas e documentos de teste e ver exemplos reais de como o adaptador está funcionando.
Você também pode recuperar métricas para uma versão do adaptador usando a GetAdapterVersion operação usando um SDK ou a CLI. Obtenha uma lista de adaptadores para os quais você deseja recuperar métricas usando a operação de ListAdapterVersions API. Exclua um adaptador que você não precisa mais com a DeleteAdapterVersion operação.
Melhorar o modelo
A implantação do adaptador é um processo iterativo, pois você provavelmente precisará treinar várias vezes para atingir o nível de precisão desejado. Depois de criar e treinar seu adaptador, você vai querer testar e avaliar o desempenho do seu adaptador em várias métricas e consultas.
Se a precisão do adaptador não estiver correta em alguma área, adicione novos exemplos desses documentos para aumentar o desempenho do adaptador para essas consultas. Tente fornecer ao adaptador exemplos adicionais e variados que reflitam os casos em que ele tem dificuldades. Fornecer ao seu adaptador documentos representativos e variados permite que ele manipule diversos exemplos do mundo real.
Depois de adicionar novos documentos ao seu conjunto de treinamento, treine novamente o adaptador. Em seguida, reavalie seu conjunto de testes e suas consultas. Repita esse processo até que o adaptador atinja o nível de desempenho desejado. A precisão, o recall e as pontuações de F1 devem melhorar gradualmente ao longo das sucessivas iterações de treinamento.
