As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Gerencie uma equipe de trabalho para avaliações humanas de modelos no Amazon Bedrock
Para trabalhos de avaliação que usam trabalhadores humanos, você precisa ter uma equipe de trabalho. Uma equipe de trabalho é um grupo de operadores que você escolhe. Podem ser funcionários da sua empresa ou um grupo de especialistas no assunto do seu setor.
Notificações para os operadores no Amazon Bedrock
-
Quando você cria um trabalho de avaliação no Amazon Bedrock, os trabalhadores são notificados do trabalho atribuído somente quando você os adiciona pela primeira vez a uma equipe de trabalho.
-
Se você excluir um trabalhador de uma equipe de trabalho durante a criação do trabalho de avaliação, ele também perderá o acesso a todos os trabalhos de avaliação que lhe foram atribuídos.
-
Para qualquer novo trabalho de avaliação que você atribuir a um trabalhador humano existente, você deve notificá-lo diretamente e fornecê-lo URL ao portal do trabalhador. Os operadores devem usar suas credenciais de login criadas anteriormente para o portal de operadores. Esse portal do trabalhador é o mesmo para todos os trabalhos de avaliação em sua AWS conta por região.
Você pode criar uma equipe de trabalho humana ou gerenciar uma existente enquanto configura uma equipe de trabalho de avaliação para uma força de trabalho privada gerenciada pela Amazon SageMaker Ground Truth. O Amazon SageMaker Ground Truth oferece suporte a recursos mais avançados de gerenciamento da força de trabalho. Para saber mais sobre como gerenciar sua força de trabalho no Amazon SageMaker Ground Truth, consulte Criar e gerenciar forças de trabalho.
Você pode excluir trabalhadores de uma equipe de trabalho ao configurar um novo trabalho de avaliação. Caso contrário, você deve usar o console do Amazon Cognito ou o console do Amazon SageMaker Ground Truth para gerenciar as equipes de trabalho que você criou no Amazon Bedrock.
Se o IAM usuário, grupo ou função tiver as permissões necessárias, você verá as forças de trabalho e equipes de trabalho privadas existentes que você criou no Amazon Cognito, no Amazon Ground SageMaker Truth ou no Amazon Augmented AI visíveis ao criar um trabalho de avaliação que usa trabalhadores humanos.
O Amazon Bedrock oferece suporte a até 50 operadores por equipe de trabalho.
No campo de endereços de e-mail, é possível inserir até 50 endereços de e-mail. Para adicionar mais trabalhadores ao seu trabalho de avaliação, use o console Amazon Cognito ou o console Ground Truth. Os endereços devem ser separados por uma vírgula. Você deve incluir seu próprio endereço de e-mail para fazer parte da força de trabalho e poder ver as tarefas de rotulagem.
Crie instruções para trabalhadores humanos
Criar boas instruções para os trabalhos de avaliação de modelo melhora a precisão do operador na conclusão de suas tarefas. Você pode modificar as instruções padrão fornecidas no console ao criar um trabalho de avaliação de modelo. Essas instruções são mostradas para o operador na página da interface do usuário em que eles concluem sua tarefa de rotulagem.
Para ajudar os operadores a concluírem as tarefas atribuídas, você pode fornecer instruções em dois locais.
Fornecer uma boa descrição para cada método de avaliação e classificação
As descrições devem oferece uma explicação sucinta das métricas selecionadas. A descrição deve se aprofundar na métrica e deixar claro como você deseja que os operadores avaliem o método de classificação selecionado.
Fornecer instruções gerais de avaliação para os operadores
Essas instruções são mostradas na mesma página da web na qual os operadores concluem uma tarefa. Você pode usar esse espaço para fornecer orientação de alto nível para o trabalho de avaliação de modelo e para descrever as respostas reais, caso as tenha incluído no conjunto de dados de prompts.
