自动模型评估

您可以在 Studio 中创建自动模型评估，也可以在自己的代码中使用该fmeval库。Studio 使用向导来创建模型评估作业。该fmeval库提供了进一步自定义工作流程的工具。

这两种类型的自动模型评估作业都支持使用公开可用的 JumpStart JumpStart 模型以及您之前部署到端点的模型。如果您使用 JumpStart 的是以前未部署的，则 SageMaker 将负责创建必要的资源，并在模型评估任务完成后将其关闭。

要使用LLMs来自其他 AWS 服务的文本或外部托管的模型 AWS，必须使用该fmeval库。

任务完成后，结果将保存在任务创建时指定的 Amazon S3 存储桶中。要了解如何解释您的结果，请参阅了解模型评估工作的结果。