EI の仕組み

Amazon Elastic Inference アクセラレーターは、エンドポイントの SageMaker インスタンスと連携するネットワーク接続デバイスであり、推論呼び出しを高速化します。Elastic Inference は、任意の SageMakerインスタンスに小数 GPUsをアタッチできるようにすることで、推論を高速化します。アプリケーションを実行するクライアントインスタンスを選択し、Elastic Inference アクセラレータをアタッチして、推論のニーズに適した量の GPU アクセラレーションを使用できます。Elastic Inference は、推論のために GPU インスタンスを十分に活用していない場合、コストを削減するのに役立ちます。さまざまな CPU インスタンスとアクセラレータサイズを使用して、モデルで Elastic Inference を試すことをお勧めします。

次の EI アクセラレータータイプを使用できます。エンドポイントまたはノートブックインスタンスを任意の EI アクセラレータータイプとともに設定できます。

次の表では、単精度浮動小数点 (F32) 演算と半精度浮動小数点 (F16) 演算の両方について、テラフロップスのスループット (TFLOPS) をリストします メモリ (GB) もリストします。