自動模型評估

您可以在 Studio 中建立自動模型評估，也可以在自己的程式碼中使用fmeval程式庫來建立模型評估。Studio 使用精靈來建立模型評估任務。fmeval 程式庫提供進一步自訂工作流程的工具。

這兩種類型的自動模型評估任務都支援使用公開可用的 JumpStart 模型，以及您先前部署到端點的 JumpStart 模型。如果您使用先前尚未部署 JumpStart 的 ， SageMaker 將處理建立必要的資源，並在模型評估任務完成後將其關閉。

若要使用LLMs來自 AWS 其他服務的文字或託管在 外部的模型 AWS，您必須使用 fmeval程式庫。

當您完成任務時，結果會儲存在建立任務時指定的 Amazon S3 儲存貯體中。若要了解如何解譯結果，請參閱 了解模型評估任務的結果。