模型评估入门 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

模型评估入门

可以创建自动模型评估作业,也可以创建使用人工的模型评估作业。创建模型评估作业时,您可以定义所使用的模型、模型的推理参数、模型尝试执行的任务类型以及作业中使用的提示数据。

模型评估作业支持以下任务类型。
  • 一般文本生成:根据文本提示生成自然的人类语言。

  • 文本摘要:根据提示中提供的文本生成摘要。

  • 提问和回答:在你的提示中生成对问题的回答。

  • 分类:根据文本的内容为其正确分配类别(例如标签或分数)。

  • 自定义您可以定义指标、描述和评级方法

要创建模型评估作业,您必须有权访问 Amazon Bedrock 模型。使用 Amazon Bedrock 基础模型支持模型评估工作。要了解有关模型访问权限的更多信息,请参阅 管理对 Amazon Bedrock 基础模型的访问权限

下列主题中的内容介绍了如何使用 Amazon Bedrock 控制台来设置模型评估作业。

要在 AWS托管团队的帮助下创建模型评估作业,请从中选择创建 AWS 托管评估。 AWS Management Console然后,在申请表中填写有关您的模型评估作业要求的详细信息, AWS 团队成员会与您联系。