自動モデル評価

Studio で自動モデル評価を作成するか、独自のコード内のfmevalライブラリを使用してモデル評価を作成できます。Studio はウィザードを使用してモデル評価ジョブを作成します。fmeval ライブラリには、ワークフローをさらにカスタマイズするためのツールが用意されています。

どちらのタイプの自動モデル評価ジョブも、公開されている JumpStart モデルと、以前にエンドポイントにデプロイした JumpStart モデルの使用をサポートしています。以前にデプロイされた JumpStart ことのない を使用する場合、 SageMaker は必要なリソースの作成を処理し、モデル評価ジョブが完了するとシャットダウンします。

他の AWS サービスまたは の外部でホストされているモデルLLMsからのテキストを使用するには AWS、 fmevalライブラリを使用する必要があります。

ジョブが完了すると、ジョブの作成時に指定された Amazon S3 バケットに結果が保存されます。結果を解釈する方法については、「」を参照してくださいモデル評価ジョブの結果を理解する。