As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Você pode usar métricas computadas para avaliar a eficácia com que um sistema de Geração Aumentada de Recuperação (RAG) recupera informações relevantes de suas fontes de dados e a eficácia das respostas geradas na resposta às perguntas. Os resultados de uma avaliação do RAG permitem que você compare diferentes bases de conhecimento Amazon Bedrock e outras fontes de RAG e, em seguida, escolha a melhor base de conhecimento ou sistema RAG para sua aplicação.
Você pode configurar dois tipos diferentes de trabalhos de avaliação do RAG.
-
Somente recuperação — Em um trabalho de avaliação de RAG somente para recuperação, o relatório é baseado nos dados recuperados de sua fonte de RAG. Você pode avaliar uma base de conhecimento Amazon Bedrock ou trazer seus próprios dados de resposta de inferência de uma fonte externa de RAG.
-
Recuperar e gerar — Em um trabalho de avaliação do retrieve-and-generateRAG, o relatório é baseado nos dados recuperados da sua base de conhecimento e nos resumos gerados pelo modelo do avaliador. Você pode usar uma base de conhecimento e um modelo avaliador do Amazon Bedrock ou pode trazer seus próprios dados de resposta de inferência de uma fonte externa de RAG.
Use os tópicos a seguir para ver como criar e gerenciar trabalhos de avaliação da base de conhecimento e os tipos de métricas de desempenho que você pode usar.
Tópicos
Pré-requisitos para criar avaliações de RAG no Amazon Bedrock
Crie um conjunto de dados imediato para uma avaliação do RAG no Amazon Bedrock
Solicitações do avaliador usadas em um trabalho de avaliação do RAG
Criação de um trabalho de avaliação de RAG no Amazon Bedrock
Interrompa um trabalho de avaliação do RAG no Amazon Bedrock
Analise os relatórios e métricas de trabalho de avaliação do RAG
