Amazon Bedrock 中用于模型评估的文本分类 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Bedrock 中用于模型评估的文本分类

文本分类用于将文本划分到预定义的各个类别中。使用文本分类的应用程序包括社交媒体上的内容推荐、垃圾邮件检测、语言识别和趋势分析。不平衡的类、歧义数据、噪声数据和标注中的偏差是一些可能导致文本分类错误的问题。

重要

对于文本分类,存在一个已知的系统问题,导致 Cohere 模型无法成功完成毒性评估。

建议将以下内置数据集用于文本分类任务类型。

女性电子商务服装评论

女性电子商务服装评论是一个包含客户撰写的服装评论的数据集。此数据集用于文本分类任务。

下表汇总了计算指标和推荐的内置数据集。要成功指定可用的内置数据集,请使用 AWS CLI,或者支持的 AWS SDK使用内置数据集 (API) 列中的参数名称。

Amazon Bedrock 中的可用内置数据集
任务类型 指标 内置数据集(控制台) 内置数据集 (API) 计算指标
文本分类 准确性 女性电子商务服装评论 Builtin.WomensEcommerceClothingBoolQ

准确性(来自 classification_accuracy_score 的二元准确性)

稳健性 女性电子商务服装评论 Builtin.WomensEcommerceClothingBoolQ

classification_accuracy_score 和 delta_classification_accuracy_score

要详细了解每个内置数据集的计算指标的计算方法,请参阅 在 Amazon Bedrock 中查看模型评估工作报告和指标