Amazon の推論オプション SageMaker

リアルタイム推論: リアルタイム推論は、低レイテンシや高スループットが要求されるオンライン推論に最適です。任意のインスタンスタイプでバックアップされた、持続的なトラフィックを処理できる永続的でフルマネージド型のエンドポイント (REST API) には、リアルタイム推論を使用します。リアルタイム推論は、最大 6 MB のペイロードサイズと 60 秒の処理時間のワークロードに対応できます。

サーバーレス推論: サーバーレス推論は、断続的または予測不可能なトラフィックパターンがある場合に最適です。 は基盤となるすべてのインフラストラクチャ SageMaker を管理するため、インスタンスやスケーリングポリシーを管理する必要はありません。使用した分のみに課金され、アイドル時間に対する支払いはありません。サーバーレス推論は、最大 4 MB のペイロードサイズと最大 60 秒の処理時間のワークロードに対応できます。

バッチ変換: バッチ変換は、大量のデータが事前に利用可能で、永続的なエンドポイントが必要ない場合のオフライン処理に適しています。また、データセットの前処理にも使用できます。サイズと処理時間が日数GBsである大規模なデータセットをサポートできます。

非同期推論: 非同期推論は、リクエストをキューに入れる必要がある推論、および大きなペイロードサイズや長時間の処理を要する推論に最適です。非同期推論は、最大 1 GB のペイロードと最大 1 時間の長い処理時間のワークロードに対応できます。処理するリクエストがない場合は、エンドポイントを 0 にスケールダウンすることもできます。