Crie um trabalho de avaliação de modelo no Amazon Bedrock

Como criar um trabalho de avaliação de modelo com a participação de operadores humanos

1. Abra o console Amazon Bedrock: página inicial https://console.aws.amazon.com/bedrock/

2. No painel de navegação, selecione Avaliação de modelos.

3. Em Criar um cartão de avaliação, em Humano: traga sua própria equipe, escolha Criar avaliação baseada em humanos.

4. Na página Especificar detalhes do trabalho, forneça as informações a seguir.

   1. Nome da avaliação: dê ao trabalho de avaliação de modelo um nome que descreva o trabalho. Esse nome é mostrado na lista de trabalhos de avaliação de modelo. O nome deve ser único na sua conta em uma Região da AWS.

   2. Descrição (opcional): forneça uma descrição opcional.

5. Em seguida, escolha Próximo.

6. Na página Configurar avaliação, forneça as informações a seguir.

   1. Modelos: você pode escolher até dois modelos que deseja usar no trabalho de avaliação de modelo.

      Para saber mais sobre os modelos disponíveis no Amazon Bedrock, consulte Acesse os modelos da Amazon Bedrock Foundation.

   2. (Opcional) Para alterar a configuração de inferência dos modelos selecionados, escolha atualizar.

      A alteração da configuração de inferência altera as respostas geradas pelos modelos selecionados. Para saber mais sobre os parâmetros de inferência disponíveis, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos básicos.

   3. Tipo de tarefa: escolha o tipo de tarefa que você deseja que o modelo tente realizar durante o trabalho de avaliação de modelo. Todas as instruções para o modelo devem ser incluídas nos próprios prompts. O tipo de tarefa não controla as respostas do modelo.

   4. Métricas de avaliação: a lista de métricas recomendadas muda com base na tarefa selecionada. Para cada métrica recomendada, você deve selecionar um Método de classificação. É possível ter até 10 métricas de classificação por trabalho de avaliação de modelo.

   5. (Opcional) Escolha Adicionar métrica para adicionar uma métrica. Defina a Métrica, a Descrição e o Método de classificação.

   6. No cartão de conjuntos de dados, você deve fornecer o seguinte.

      1. Escolha um conjunto de dados de prompt — especifique o S3 do seu arquivo de conjunto URI de dados de prompt ou escolha Procurar no S3 para ver os buckets do S3 disponíveis. Você pode ter até 1.000 prompts em um conjunto de dados de prompts personalizado.

      2. Destino dos resultados da avaliação — Você deve especificar o S3 URI do diretório em que deseja salvar os resultados do seu trabalho de avaliação do modelo ou escolher Procurar no S3 para ver os buckets do S3 disponíveis.

   7. AWS KMS Chave (opcional) — Forneça ARN a chave gerenciada pelo cliente que você deseja usar para criptografar seu trabalho de avaliação de modelo.

   8. Na IAMfunção Amazon Bedrock — cartão de permissões, você deve fazer o seguinte. Para saber mais sobre as permissões necessárias para avaliações de modelos, consulte Permissões e funções IAM de serviço necessárias para avaliação de modelos no Amazon Bedrock.

      1. Para usar uma função de serviço existente do Amazon Bedrock, escolha Usar uma função existente. Caso contrário, use Criar uma nova função para especificar os detalhes da sua nova função IAM de serviço.

      2. Em Nome da função de serviço, especifique o nome da sua função IAM de serviço.

      3. Quando estiver pronto, escolha Criar função para criar a nova função IAM de serviço.

7. Em seguida, escolha Próximo.

8. No cartão Permissões, especifique as informações a seguir. Para saber mais sobre as permissões necessárias para avaliações de modelos, consulte Permissões e funções IAM de serviço necessárias para avaliação de modelos no Amazon Bedrock.

9. IAMFunção do fluxo de trabalho humano — especifique uma função de SageMaker serviço que tenha as permissões necessárias.

10. No cartão Equipe de trabalho, especifique o seguinte.

    Requisitos para notificação de operadores humanos

    Quando você adiciona um novo operador humano a um trabalho de avaliação de modelo, ele recebe automaticamente um e-mail convidando-o a participar do trabalho de avaliação de modelo. Ao adicionar um trabalhador humano existente a um trabalho de avaliação de modelo, você deve notificar e fornecer a ele o portal do trabalhador URL para o trabalho de avaliação de modelo. O operador existente não receberá uma notificação automática por e-mail de que foi adicionado ao novo trabalho de avaliação de modelo.

    1. Usando o menu suspenso Selecionar equipe, especifique Criar uma equipe de trabalho ou o nome de uma equipe de trabalho existente.

    2. (Opcional) Número de operadores por prompt: atualize o número de operadores que avaliam cada prompt. Depois que as respostas de cada prompt forem analisadas pelo número definido de operadores, o prompt e suas respostas serão retirados de circulação da equipe de trabalho. O relatório dos resultados finais incluirá todas as classificações de cada operador.

    3. (Opcional) E-mail do trabalhador existente — Escolha essa opção para copiar um modelo de e-mail contendo o portal do trabalhadorURL.

    4. (Opcional) Novo e-mail de operador: escolha esta opção para ver o e-mail que os novos operadores recebem automaticamente.

       Importante

       Sabe-se que grandes modelos de linguagem ocasionalmente alucinam e geram conteúdo tóxico ou ofensivo. Os operadores poderão ser expostos a material tóxico ou ofensivo durante essa avaliação. Tome as medidas adequadas para treiná-los e notificá-los antes que eles trabalhem na avaliação. Eles podem recusar e largar tarefas ou fazer pausas durante a avaliação enquanto acessam a ferramenta de avaliação humana.

11. Em seguida, escolha Próximo.

12. Na página Fornecer instruções, use o editor de texto para fornecer instruções sobre como concluir a tarefa. Você pode pré-visualizar a interface de avaliação que a equipe de trabalho usará para avaliar as respostas, incluindo as métricas, os métodos de classificação e suas instruções. Essa pré-visualização é baseada na configuração que você criou para esse trabalho.

13. Em seguida, escolha Próximo.

14. Na página Revisar e criar, você pode ver um resumo das opções selecionadas nas etapas anteriores.

15. Para iniciar o trabalho de avaliação de modelo, escolha Criar.

    nota

    Depois que o trabalho for iniciado com sucesso, o status mudará para Em andamento. Quando o trabalho for concluído, o status será alterado para Concluído. Enquanto um trabalho de avaliação do modelo ainda estiver em andamento, você pode optar por interromper o trabalho antes que todas as respostas dos modelos tenham sido avaliadas pela sua equipe de trabalho. Para fazer isso, escolha Parar avaliação na página inicial de avaliação do modelo. Isso mudará o status do trabalho de avaliação do modelo para Parando. Depois que o trabalho de avaliação do modelo for interrompido com êxito, você poderá excluir o trabalho de avaliação do modelo.