As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usar conjuntos de dados de prompts personalizados para avaliação de modelo no Amazon Bedrock

Para criar um trabalho de avaliação automática do modelo, você deve especificar um conjunto de dados imediato. Os prompts são então usados durante a inferência com o modelo que você selecionou para avaliar. O Amazon Bedrock fornece conjuntos de dados integrados que podem ser usados em avaliações de modelo automáticas, mas você também pode trazer seu próprio conjunto de dados de prompts.

Use as seções a seguir para saber mais sobre os conjuntos de dados de prompts integrados disponíveis e sobre como criar conjuntos de dados de prompts personalizados.

Usar conjuntos de dados de prompts integrados para avaliação de modelo automática no Amazon Bedrock

O Amazon Bedrock fornece vários conjuntos de dados de prompts integrados que é possível usar em um trabalho automático de avaliação de modelo. Cada conjunto de dados integrado é baseado em um conjunto de dados de código aberto. Reduzimos as amostras aleatoriamente de cada conjunto de dados de código aberto para incluir apenas cem prompts.

Ao criar um trabalho automático de avaliação de modelo e escolher um Tipo de tarefa, o Amazon Bedrock fornece uma lista de métricas recomendadas. Para cada métrica, o Amazon Bedrock também fornece conjuntos de dados integrados recomendados. Para saber mais sobre os tipos de tarefa disponíveis, consulte Tipos de tarefa de avaliação de modelo no Amazon Bedrock.

Na tabela a seguir, é possível ver a lista de conjuntos de dados disponíveis agrupados por tipo de tarefa. Para saber mais sobre como as métricas automáticas são calculadas, consulte Analisar as métricas de um trabalho automatizado de avaliação de modelo no Amazon Bedrock (console).

Para saber mais sobre os requisitos de criação e obter exemplos de conjuntos de dados de prompts personalizados, consulte Usar conjuntos de dados de prompts personalizados para avaliação de modelo no Amazon Bedrock.

Usar conjuntos de dados de prompts personalizados para avaliação de modelo no Amazon Bedrock

Você pode criar um conjunto de dados de prompt personalizado em trabalhos de avaliação automática de modelos. Os conjuntos de dados de prompts personalizados devem ser armazenados no Amazon S3 e usar JSON o formato de linha e usar a extensão de arquivo. .jsonl Cada linha deve ser um JSON objeto válido. Um conjunto de dados pode ter até 1.000 prompts por trabalho de avaliação automática.

Para trabalhos criados usando o console, você deve atualizar a configuração Cross Origin Resource Sharing (CORS) no bucket do S3. Para saber mais sobre as CORS permissões necessárias, consultePermissões obrigatórias de compartilhamento de recursos entre origens (CORS) em buckets do S3.

Você deve usar os seguintes pares de valores de chaves em um conjunto de dados personalizado.

Por exemplo, a precisão exige tanto a pergunta feita quanto uma resposta para comparar a resposta do modelo. Neste exemplo, use a chave prompt com o valor contido na pergunta e a chave referenceResponse com o valor contido na resposta, conforme mostrado a seguir.

{
  "prompt": "Bobigny is the capital of",
  "referenceResponse": "Seine-Saint-Denis",
  "category": "Capitals"
}

O exemplo anterior é uma única linha de um arquivo de entrada de JSON linha que será enviada ao seu modelo como uma solicitação de inferência. O modelo será invocado para cada registro desse tipo em seu conjunto de dados JSON de linha. O exemplo de entrada de dados a seguir se refere a uma tarefa de resposta a perguntas que usa uma chave category opcional para avaliação.

{"prompt":"Aurillac is the capital of", "category":"Capitals", "referenceResponse":"Cantal"}
{"prompt":"Bamiyan city is the capital of", "category":"Capitals", "referenceResponse":"Bamiyan Province"}
{"prompt":"Sokhumi is the capital of", "category":"Capitals", "referenceResponse":"Abkhazia"}