As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Classificação de texto para avaliação de modelos no Amazon Bedrock
A classificação de texto é usada para classificar texto em categorias predefinidas. As aplicações que usam classificação de texto incluem recomendação de conteúdo, detecção de spam, identificação de idioma e análise de tendências em mídias sociais. Classes desequilibradas, dados ambíguos, dados ruidosos e viés na rotulagem são alguns problemas que podem causar erros na classificação de texto.
Importante
Para classificação de texto, há um problema conhecido no sistema que impede que os modelos Cohere concluam a avaliação de toxicidade com sucesso.
Os conjuntos de dados integrados a seguir são recomendados para uso com o tipo de tarefa de classificação de texto.
- Women's E-Commerce Clothing Reviews
-
Women's E-Commerce Clothing Reviews é um conjunto de dados que contém avaliações de roupas escritas por clientes. Esse conjunto de dados é usado em tarefas de classificação de texto.
A tabela a seguir resume as métricas calculadas e os conjuntos de dados integrados recomendados. Para especificar com êxito os conjuntos de dados integrados disponíveis usando o AWS CLI, ou um suportado AWS SDKuse os nomes dos parâmetros na coluna Conjuntos de dados integrados (API).
| Tipo de tarefa | Métrica | Conjuntos de dados integrados (console) | Conjuntos de dados integrados () API | Métrica computada |
|---|---|---|---|---|
| Classificação de texto | Precisão | Women's Ecommerce Clothing Reviews |
Builtin.WomensEcommerceClothingBoolQ |
Precisão (precisão binária de classification_accuracy_score) |
| Robustez | Women's Ecommerce Clothing Reviews |
Builtin.WomensEcommerceClothingBoolQ |
classification_accuracy_score e delta_classification_accuracy_score |
Para saber mais sobre como a métrica computada para cada conjunto de dados incorporado é calculada, consulte Analise os relatórios e métricas do trabalho de avaliação do modelo no Amazon Bedrock.
