自動模型評估

您可以在 Studio 中建立自動模型評估，或使用您自己的程式碼內的fmeval程式庫來建立模型評估。Studio 使用精靈來建立模型評估任務。fmeval 程式庫提供工具進一步自訂您的工作流程。

這兩種類型的自動模型評估任務都支援使用公開提供的 JumpStart 模型，以及您先前部署到端點的 JumpStart 模型。如果您使用先前尚未部署的 JumpStart，SageMaker AI 會處理建立必要的資源，並在模型評估任務完成後將其關閉。

若要使用來自其他服務的文字型 LLMs AWS 或託管於 外部的模型 AWS，您必須使用 fmeval程式庫。

當您完成任務時，結果會儲存在建立任務時指定的 Amazon S3 儲存貯體中。若要了解如何解譯結果，請參閱 了解模型評估任務的結果。