As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Resumo de texto para avaliação de modelos no Amazon Bedrock
O resumo de texto é usado para tarefas que incluem a criação de resumos de notícias, documentos jurídicos, trabalhos acadêmicos, pré-visualizações de conteúdo e curadoria de conteúdo. A ambiguidade, a coerência, o viés e a fluência do texto usado para treinar o modelo, bem como a perda, a precisão, a relevância ou a incompatibilidade de contexto das informações, podem influenciar a qualidade das respostas.
Importante
Para resumir o texto, há um problema conhecido do sistema que impede que os modelos Cohere concluam a avaliação de toxicidade com sucesso.
O conjunto de dados incorporado a seguir é compatível com o tipo de tarefa de resumo de tarefas.
- Gigaword
-
O conjunto de dados do Gigaword consiste em manchetes de artigos de notícias. Esse conjunto de dados é usado em tarefas de resumo de texto.
A tabela a seguir resume as métricas calculadas e o conjunto de dados integrado recomendado. Para especificar com êxito os conjuntos de dados integrados disponíveis usando o AWS CLI, ou um suportado AWS SDKuse os nomes dos parâmetros na coluna Conjuntos de dados integrados (API).
| Tipo de tarefa | Métrica | Conjuntos de dados integrados (console) | Conjuntos de dados integrados () API | Métrica computada |
|---|---|---|---|---|
| Sumarização de texto | Precisão | Gigaword |
Builtin.Gigaword |
BERTScore |
| Toxicidade | Gigaword |
Builtin.Gigaword |
Toxicidade | |
| Robustez | Gigaword |
Builtin.Gigaword |
BERTScoree deltaBERTScore |
Para saber mais sobre como a métrica computada para cada conjunto de dados incorporado é calculada, consulte Analise os relatórios e métricas do trabalho de avaliação do modelo no Amazon Bedrock.
