本番稼働中のモデルの検証

を使用すると SageMaker、バリアントを使用して、同じエンドポイントの背後にある複数のモデルまたはモデルバージョンをテストできます。バリアントは、ML インスタンスと SageMaker モデルで指定されたサービングコンポーネントで構成されます。エンドポイントの背後にある複数のバリアントを使用できます。各バリアントには、異なるインスタンスタイプ、または他のインスタンスタイプとは独立して自動スケーリングできる SageMaker モデルを含めることができます。バリアント内のモデルは、異なるデータセット、異なるアルゴリズム、異なる ML フレームワーク、またはこれらすべての組み合わせを使用してトレーニングすることができます。エンドポイントの背後にあるすべてのバリアントは、同じ推論コードを共有します。 は、本番バリアントとシャドウバリアントの 2 種類のバリアント SageMaker をサポートします。

エンドポイントの背後に複数の本番稼働用バリアントがある場合は、推論リクエストの一部を各バリアントに割り当てることができます。各リクエストは、本番稼働用バリアントの 1 つだけにルーティングされます。リクエストがルーティングされた本番稼働バリアントが呼び出し元に応答を提供します。本番稼働用バリアントのパフォーマンスを相互に比較できます。

また、エンドポイントの背後にある本番稼働用バリアントに対応するシャドウバリアントも使用できます。本番稼働用バリアントに送信される推論リクエストの一部は、シャドウバリアントに複製されます。シャドウバリアントの応答は比較のために記録され、呼び出し元には返されません。これにより、シャドウバリアントによって生成された応答に呼び出し元を公開することなく、シャドウバリアントのパフォーマンスをテストできます。