Usar conjuntos de dados de prompts e dimensões de avaliação disponíveis em trabalhos de avaliação de modelo

Conhecimento factual — avalia o quão bem seu modelo codifica o conhecimento factual. FMEval pode medir seu modelo em relação ao seu próprio conjunto de dados personalizado ou usar um conjunto de dados integrado com base no TREXconjunto de dados de código aberto.

Robustez semântica — avalia o quanto a saída do modelo muda como resultado de pequenas mudanças na entrada que preservam a semântica. FMEval mede como a saída do modelo muda como resultado de erros de digitação no teclado, alterações aleatórias em maiúsculas e adições ou exclusões aleatórias de espaços em branco.

Estereotipagem de prompt: Mede a probabilidade de seu modelo codificar vieses em sua resposta. Esses preconceitos incluem raça, gênero, orientação sexual, religião, idade, nacionalidade, deficiência, aparência física e status socioeconômico. FMEval pode medir as respostas do seu modelo em relação ao seu próprio conjunto de dados personalizado ou usar um conjunto de dados integrado com base no CrowS-Pairsconjunto de dados de desafios de código aberto.

Toxicidade — Avalia o texto usando modelos de detecção de toxicidade. FMEval verifica seu modelo em busca de referências sexuais, comentários rudes, irracionais, odiosos ou agressivos, palavrões, insultos, flertes, ataques a identidades e ameaças. FMEval pode medir seu modelo em relação ao seu próprio conjunto de dados personalizado ou usar conjuntos de dados integrados com base no RealToxicityPrompts, RealToxicityPromptsChallenging, e BOLDconjuntos de dados.

RealToxicityPromptsChallenging é um subconjunto de RealToxicityPrompts que é usado para testar os limites de um modelo de linguagem grande (LLM). Também identifica áreas LLMs vulneráveis à geração de texto tóxico.

Você pode avaliar seu modelo com os seguintes detectores de toxicidade:

Precisão: Uma pontuação numérica que indica a semelhança do resumo com um resumo de referência que é aceito como padrão de excelência. Uma pontuação numérica alta indica que o resumo é de alta qualidade. Uma pontuação numérica baixa indica um resumo ruim. As métricas a seguir são usadas para avaliar a precisão de um resumo:

Toxicidade: Pontuações para resumos gerados que são calculadas usando um modelo de detector de toxicidade. Para obter informações adicionais, consulte a seção Toxicidade na seção anterior sobre a tarefa de geração aberta para obter detalhes.

Robustez semântica: Uma medida de quanto a qualidade do resumo de texto do seu modelo muda como resultado de pequenas mudanças na entrada que preservam a semântica. Exemplos dessas alterações incluem erros de digitação, alterações aleatórias em maiúsculas e adições ou exclusões aleatórias de espaços em branco. A robustez semântica usa a diferença absoluta da precisão entre um resumo de texto que não foi alterado e outro que foi alterado. O algoritmo de precisão usa o ROUGE-N, Meteor, e BERTScoremétricas, conforme detalhado anteriormente nesta seção.

Precisão: Uma pontuação média comparando a resposta gerada com os pares de perguntas e respostas fornecidos nas referências. A pontuação é calculada a partir dos seguintes métodos:

Robustez semântica: Uma medida de quanto a qualidade do resumo de texto do seu modelo muda como resultado de pequenas mudanças na entrada que preservam a semântica. Exemplos dessas alterações incluem erros de digitação no teclado, conversão imprecisa de números em palavras, alterações aleatórias em maiúsculas e adições ou exclusões aleatórias de espaços em branco. A robustez semântica usa a diferença absoluta da precisão entre um resumo de texto que não foi alterado e outro que foi alterado. A precisão é medida usando correspondência exata, correspondência quase exata e F1 em relação às palavras, conforme descrito anteriormente.

Toxicidade: As pontuações avaliam as respostas geradas usando um modelo de detector de toxicidade. Para obter informações adicionais, consulte a seção Toxicidade na seção anterior sobre a tarefa de geração aberta para obter detalhes.

Precisão: Uma pontuação que compara a classe prevista com seu rótulo real. A precisão é medida usando as seguintes métricas:

Robustez semântica — avalia o quanto a saída do modelo muda como resultado de pequenas mudanças na entrada que preservam a semântica. FMEval mede a saída do modelo como resultado de erros de digitação no teclado, alterações aleatórias em maiúsculas e adições ou exclusões aleatórias de espaços em branco. A robustez semântica pontua a diferença absoluta na precisão entre um resumo de texto que não foi alterado e outro que foi alterado.

(Comparativo) Escala Likert (comparação): um avaliador humano indicará sua preferência entre duas respostas em uma escala Likert de cinco pontos, de acordo com as instruções que você definiu. No relatório final, os resultados serão mostrados como um histograma das classificações por força de preferência em relação a todo o conjunto de dados. Defina os pontos importantes da escala de cinco pontos nas instruções, para que os avaliadores saibam como classificar as respostas de acordo com suas expectativas.

(Comparativo) Botões de escolha: Permite que um avaliador humano indique uma resposta preferencial em relação a outra usando botões de opção, de acordo com suas instruções. Os resultados no relatório final serão mostrados como uma porcentagem das respostas que os operadores preferiram para cada modelo. Explique claramente seu método de avaliação nas instruções.

(Comparativo) Classificação ordinal: Permite que um avaliador humano classifique suas respostas preferenciais a um prompt, começando com 1, de acordo com as instruções definidas por você. No relatório final, os resultados serão mostrados como um histograma das classificações dos avaliadores em relação a todo o conjunto de dados. Não se esqueça de definir o que significa uma classificação 1 em suas instruções.

(Individual) Polegar para cima/para baixo: permite que um avaliador humano classifique cada resposta de um modelo como aceitável/inaceitável de acordo com as instruções definidas por você. No relatório final, os resultados são mostrados com uma porcentagem do número total de classificações positivas dos avaliadores que cada modelo recebeu. Você pode usar esse método de classificação para avaliar um ou mais modelos. Se você usar isso em uma avaliação que contém dois modelos, a interface de usuário apresenta à equipe de trabalho uma opção de polegar para cima ou para baixo para cada resposta do modelo. O relatório final mostrará os resultados agregados de cada modelo individualmente. Defina o que é uma resposta aceitável em suas instruções para sua equipe de trabalho.

(Individual) Escala Likert: individual: Permite que um avaliador humano indique com que intensidade ele aprova a resposta do modelo com base em suas instruções, em uma escala Likert de cinco pontos. No relatório final, os resultados serão mostrados como um histograma das classificações de cinco pontos dos avaliadores em relação a todo o conjunto de dados. Você pode usar esse método de classificação para avaliar um ou mais modelos. Se você selecionar esse método de classificação para uma avaliação que contém mais de um modelo, uma escala Likert de cinco pontos será apresentada à equipe de trabalho para cada resposta do modelo. O relatório final mostrará os resultados agregados de cada modelo individualmente. Defina os pontos importantes da escala de cinco pontos nas instruções, para que os avaliadores saibam como classificar as respostas com base em suas expectativas.