As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Robustez semântica

Avalia o quanto a saída do seu modelo muda como resultado de pequenas alterações que preservam a semântica na entrada. As avaliações do modelo básico (FMEval) medem como a saída do modelo muda como resultado de erros de digitação no teclado, alterações aleatórias em maiúsculas e adições ou exclusões aleatórias de espaços em branco.

A Amazon SageMaker oferece suporte à execução de uma avaliação de robustez semântica do Amazon SageMaker Studio ou ao uso da biblioteca. fmeval

Tipo de tarefa compatível

A avaliação da robustez semântica é compatível com os seguintes tipos de tarefas com seus conjuntos de dados integrados associados. Os usuários também podem trazer seu próprio conjunto de dados. Por padrão, SageMaker coleta amostras de 100 pontos de dados aleatórios do conjunto de dados para avaliação de toxicidade. Ao usar a fmeval biblioteca, isso pode ser ajustado passando o num_records parâmetro para o evaluate método. Para obter informações sobre como personalizar a avaliação do conhecimento factual usando a fmeval biblioteca, consulte. Personalize seu fluxo de trabalho usando a fmeval biblioteca

Tipos de perturbação

A avaliação da robustez semântica faz uma das três perturbações a seguir. Você pode selecionar o tipo de perturbação ao configurar o trabalho de avaliação. Todas as três perturbações são adaptadas do NL-Augmenter.

Exemplo de entrada de modelo:A quick brown fox jumps over the lazy dog. 

Valores computados

Essa avaliação mede a mudança de desempenho entre a saída do modelo com base na entrada original não perturbada e a saída do modelo com base em uma série de versões perturbadas da entrada. Para obter informações sobre a estrutura de solicitações necessária para a avaliação, consulteCrie um trabalho de avaliação automática de modelos no Studio.

A mudança de desempenho é a diferença média entre a pontuação da entrada original e as pontuações das entradas perturbadas. As pontuações medidas para avaliar essa mudança de desempenho dependem do tipo de tarefa:

Resumo

Para tarefas de resumo, a robustez semântica mede as seguintes pontuações ao usar a entrada perturbada, bem como o Delta para cada pontuação. A pontuação Delta representa a diferença absoluta média entre a pontuação da entrada original e as pontuações da entrada perturbada.

Respostas a perguntas

Para tarefas de resposta a perguntas, a robustez semântica mede as seguintes pontuações ao usar a entrada perturbada, bem como o Delta para cada pontuação. A pontuação Delta representa a diferença absoluta média entre a pontuação da entrada original e as pontuações da entrada perturbada.

Classificação

Para tarefas de classificação, a robustez semântica mede a precisão ao usar a entrada perturbada, bem como o Delta para cada pontuação. A pontuação Delta representa a diferença absoluta média entre a pontuação da entrada original e as pontuações da entrada perturbada.

Geração aberta

Avaliações de robustez semântica para geração aberta não podem ser criadas no Studio. Eles devem ser criados usando a fmeval biblioteca com GeneralSemanticRobustness. Em vez de calcular a diferença nas pontuações da geração aberta, a avaliação da robustez semântica mede a dissimilaridade nas gerações do modelo entre a entrada original e a entrada perturbada. Essa dissimilaridade é medida usando as seguintes estratégias:

Modelos não determinísticos

Quando a estratégia de geração do modelo não é determinística, como em LLMs temperaturas diferentes de zero, a saída pode mudar mesmo que a entrada seja a mesma. Nesses casos, relatar diferenças entre a saída do modelo para as entradas originais e perturbadas pode mostrar uma robustez artificialmente baixa. Para explicar a estratégia não determinística, a avaliação da robustez semântica normaliza a pontuação de dissimilaridade subtraindo a dissimilaridade média entre a saída do modelo com base na mesma entrada. 

max(0,d−dbase​)