Amazon SageMaker AI 中的模型部署選項

對於一次進行一個預測的持久性即時端點，請使用 SageMaker AI 即時託管服務。請參閱 即時推論。

工作負載在流量峰值之間具有閒置期間，並且可以容忍冷啟動，請使用無伺服器推論。請參閱 使用 Amazon SageMaker Serverless Inference 部署模型。

若為高達 1GB 大型承載大小、處理時間長且接近即時延遲要求的請求，請使用 Amazon SageMaker 非同步推論。請參閱 非同步推論。

若要取得整個資料集的預測，請使用 SageMaker AI 批次轉換。請參閱 使用 Amazon SageMaker AI 進行批次轉換以進行推論。

若要管理邊緣裝置上的模型，以便在邊緣裝置上最佳化、保護、監控和維護機器學習模型，請參閱 使用 SageMaker Edge Manager 在邊緣部署模型。這適用於邊緣裝置，例如智慧攝影機、機器人、個人電腦和行動裝置。

若要最佳化 Gluon、Keras、MXNet、PyTorch、TensorFlow、TensorFlow-Lite 和 ONNX 模型，以便在以 Ambarella、ARM、Intel、Nvidia、NXP、Qualcomm、Texas Instruments 和 Xilinx 的處理器為基礎的 Android、Linux 和 Windows 機器上進行推論，請參閱使用 SageMaker Neo 最佳化模型效能。