EI 的運作方式

Amazon Elastic Inference 加速器是網路連接裝置，可與端點中的 SageMaker 執行個體搭配使用，以加速推論呼叫。Elastic Inference 可讓您將分數 GPU 連接至任何執行個體，以加速推論。 SageMaker您可以選擇用戶端執行個體來執行您的應用程式，並連接 Elastic Inference 加速器，以使用適量的 GPU 加速來滿足您的推論需求。在您在未充分利用 GPU 執行個體進行推論時，Elastic Inference 可協助您降低成本。我們建議您使用不同的 CPU 執行個體和加速器大小，以試圖對模型執行 Elastic Inference。

可用的 EI 加速器類型如下。您可以使用任何 EI 加速器類型設定您的端點或筆記本執行個體。

此資料表所列以 teraflops (TFLOPS) 計算的輸送量，同時適用單一精確度浮點 (F32) 和半精確度浮點 (F16) 操作。也會列出以 GB 計算的記憶體。