本番稼働のモデルを安全に検証

を使用すると SageMaker、バリアントを使用して、同じエンドポイントの背後にある複数のモデルまたはモデルバージョンをテストできます。バリアントは、 SageMaker モデルで指定された ML インスタンスとサービングコンポーネントで構成されます。エンドポイントの背後にある複数のバリアントを使用できます。各バリアントは、異なるインスタンスタイプを持つことも、他のバリアントとは独立して自動スケーリングできる SageMaker モデルを持つこともできます。バリアント内のモデルは、異なるデータセット、異なるアルゴリズム、異なる ML フレームワーク、またはこれらすべての組み合わせを使用してトレーニングすることができます。エンドポイントのすべてのバリアントは、同じ推論コードを共有します。 は、本番稼働用バリアントとシャドウバリアントの 2 種類のバリアント SageMaker をサポートします。

エンドポイントの背後に複数の本番稼働用バリアントがある場合は、推論リクエストの一部を各バリアントに割り当てることができます。各リクエストは、本番稼働用バリアントの 1 つだけにルーティングされます。リクエストがルーティングされた本番稼働バリアントが呼び出し元に応答を提供します。本番稼働用バリアントのパフォーマンスを相互に比較できます。

また、エンドポイントの背後にある本番稼働用バリアントに対応するシャドウバリアントも使用できます。本番稼働用バリアントに送信される推論リクエストの一部は、シャドウバリアントに複製されます。シャドウバリアントの応答は比較のために記録され、呼び出し元には返されません。これにより、シャドウバリアントによって生成された応答に呼び出し元を公開することなく、シャドウバリアントのパフォーマンスをテストできます。