Amazon Bedrock 中模型评估的文本摘要 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon Bedrock 中模型评估的文本摘要

文本摘要用于新闻摘要、法律文件、学术论文、内容预览和内容策划的创建等任务。用于训练模型的文本的模糊性、连贯性、偏差和流畅性以及信息丢失、准确性、相关性或上下文不匹配等问题都会影响响应的质量。

重要

对于文本摘要，存在一个已知的系统问题，导致 Cohere 模型无法成功完成毒性评估。

支持将以下内置数据集与任务摘要任务类型一起使用。

Gigaword

Gigaword 数据集由新闻文章标题组成。此数据集用于文本摘要任务。

下表汇总了计算指标和推荐的内置数据集。要成功指定可用的内置数据集，请使用 AWS CLI，或者支持的 AWS SDK使用内置数据集 (API) 列中的参数名称。

Amazon Bedrock 中可用于文本摘要的内置数据集
任务类型 指标 内置数据集（控制台） 内置数据集 (API) 计算指标
文本摘要 准确性 Gigaword Builtin.Gigaword BERTScore
毒性 Gigaword Builtin.Gigaword 毒性
稳健性 Gigaword Builtin.Gigaword

BERTScore和 deltaBERTScore

要详细了解每个内置数据集的计算指标的计算方法，请参阅 在 Amazon Bedrock 中查看模型评估工作报告和指标。