Amazon Bedrock でのモデルのパフォーマンスを評価する

モデル評価を使用して、Amazon Bedrock モデルのパフォーマンスと有効性を評価します。自動モデルジョブを作成して、モデルのセマンティック堅牢性などのパフォーマンスメトリクスを表示できます。また、ヒューマンワーカーのチームを活用して、評価のために評価し、意見を提供することもできます。

自動評価は、モデルの有効性を評価するのに役立つ計算されたスコアとメトリクスを生成します。人間ベースの評価では、特定のメトリクスに関連して評価と好みを提供する人のチームを使用します。

モデル評価ジョブを作成するには、少なくとも 1 つの Amazon Bedrock モデルにアクセスできる必要があります。モデル評価ジョブは、基盤モデル、カスタマイズされた基盤モデル、およびプロビジョンドスループットを購入したモデルの使用をサポートします。