本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon Bedrock 中用于模型评估的文本分类
文本分类用于将文本划分到预定义的各个类别中。使用文本分类的应用程序包括社交媒体上的内容推荐、垃圾邮件检测、语言识别和趋势分析。不平衡的类、歧义数据、噪声数据和标注中的偏差是一些可能导致文本分类错误的问题。
重要
对于文本分类,存在一个已知的系统问题,导致 Cohere 模型无法成功完成毒性评估。
建议将以下内置数据集用于文本分类任务类型。
- 女性电子商务服装评论
-
女性电子商务服装评论是一个包含客户撰写的服装评论的数据集。此数据集用于文本分类任务。
下表汇总了计算指标和推荐的内置数据集。要成功指定可用的内置数据集,请使用 AWS CLI,或者支持的 AWS SDK使用内置数据集 (API) 列中的参数名称。
任务类型 | 指标 | 内置数据集(控制台) | 内置数据集 (API) | 计算指标 |
---|---|---|---|---|
文本分类 | 准确性 | 女性电子商务服装评论 |
Builtin.WomensEcommerceClothingBoolQ |
准确性(来自 classification_accuracy_score 的二元准确性) |
稳健性 | 女性电子商务服装评论 |
Builtin.WomensEcommerceClothingBoolQ |
classification_accuracy_score 和 delta_classification_accuracy_score |
要详细了解每个内置数据集的计算指标的计算方法,请参阅 在 Amazon Bedrock 中查看模型评估工作报告和指标。