マルチモデルエンドポイントでサポートされるアルゴリズム、フレームワーク、インスタンス

マルチモデルエンドポイントで使用できるアルゴリズム、フレームワーク、インスタンスタイプについては、以下のセクションを参照してください。

CPU バックアップされたインスタンスを使用するマルチモデルエンドポイントでサポートされているアルゴリズム、フレームワーク、インスタンス

次のアルゴリズムおよびフレームワークの推論コンテナは、マルチモデルエンドポイントをサポートしています。

他のフレームワークまたはアルゴリズムを使用するには、 SageMaker AI 推論ツールキットを使用して、マルチモデルエンドポイントをサポートするコンテナを構築します。詳細については、 SageMaker AI マルチモデルエンドポイント用の独自のコンテナを構築する を参照してください。

マルチモデルエンドポイントは、すべてのCPUインスタンスタイプをサポートします。

GPU バックアップされたインスタンスを使用するマルチモデルエンドポイントでサポートされているアルゴリズム、フレームワーク、インスタンス

マルチモデルエンドポイントでの複数のGPUバッキングされたモデルのホスティングは、SageMaker AI Triton 推論サーバーを通じてサポートされています。これにより、NVIDIA® TensorRT™、 PyTorch、、MXNetPython、ONNX、、scikit-learnXGBoost、Open RandomForest、カスタム C++ などVINO、すべての主要な推論フレームワークがサポートされます。

他のフレームワークやアルゴリズムを使用するには、Python または C++ 用の Triton バックエンドを使用してモデルロジックを記述し、任意のカスタムモデルを提供できます。サーバーの準備が整ったら、1 つのエンドポイントに何百ものディープラーニングモデルのデプロイを開始できます。

マルチモデルエンドポイントは、次のGPUインスタンスタイプをサポートします。