支援的功能 - Amazon SageMaker AI

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

支援的功能

Amazon SageMaker AI 提供下列四個選項來部署模型以進行推論。

  • 即時推論,適用於即時、互動式、低延遲需要的推論工作負載。

  • 批次轉換,適用於具有大型資料集的離線推論。

  • 非同步推論,適用於具有需要較長預先處理時間之大型輸入的接近即時推論。

  • 無伺服器推論,適用於流量範圍之間有閒置期間的推論工作負載。

下表摘要說明每個推論選項支援的核心平台功能。它不會顯示架構、自訂 Docker 容器或透過串連不同 AWS 服務所提供的功能。

功能 即時推論 批次轉換 非同步推論 無伺服器推論 Docker 容器
自動調整規模支援 N/A N/A
GPU 支援 1 1 1 1P、預先建置、BYOC
單一模型 N/A
多模型端點 k-NN、XGBoost、線性學習程式、RCF、TensorFlow、Apache MXNet、PyTorch、scikit-learn 2
多容器端點 1P、預先建置、延伸預先建置、BYOC
序列推論管道 1P、預先建置、延伸預先建置、BYOC
推論建議程式 1P、預先建置、延伸預先建置、BYOC
私有連結支援 N/A
資料擷取/模型監控支援 N/A
支援的 DLC 1P、預先建置、延伸預先建置、BYOC 1P、預先建置、延伸預先建置、BYOC 1P、預先建置、延伸預先建置、BYOC 1P、預先建置、延伸預先建置、BYOC N/A
支援的通訊協定 HTTP(S) HTTP(S) HTTP(S) HTTP(S) N/A
承載大小 < 6 MB ≤ 100 MB ≤ 1 GB ≤ 4 MB
HTTP 區塊編碼 架構相依、1P 不支援 N/A 架構相依、1P 不支援 架構相依、1P 不支援 N/A
請求逾時 < 60 秒 < 1 小時 < 60 秒 N/A
部署防護機制:藍/綠部署 N/A N/A
部署防護機制:滾動部署 N/A N/A
陰影測試 N/A
擴展至零 N/A N/A
市場模型套件支援 N/A
Virtual Private Cloud 支援 N/A
多種生產變體支援 N/A
網路隔離 N/A
模型並行服務支援 3 3 3
磁碟區加密 N/A
客戶 AWS KMS N/A
d 執行個體支援 N/A
inf1 支援

使用 SageMaker AI,您可以在單一推論端點後方部署單一模型或多個模型,以進行即時推論。下表摘要說明各種託管選項支援的核心功能,包括即時推論。

功能 單一模型端點 多模型端點 序列推論管道 多容器端點
自動調整規模支援
GPU 支援 1
單一模型
多模型端點 N/A
多容器端點 N/A
序列推論管道 N/A
推論建議程式
私有連結支援
資料擷取/模型監控支援 N/A N/A N/A
支援的 DLC 1P、預先建置、延伸預先建置、BYOC k-NN、XGBoost、線性學習程式、RCF、TensorFlow、Apache MXNet、PyTorch、scikit-learn 2 1P、預先建置、延伸預先建置、BYOC 1P、預先建置、延伸預先建置、BYOC
支援的通訊協定 HTTP(S) HTTP(S) HTTP(S) HTTP(S)
承載大小 < 6 MB < 6 MB < 6 MB < 6 MB
請求逾時 < 60 秒 < 60 秒 < 60 秒 < 60 秒
部署防護機制:藍/綠部署
部署防護機制:滾動部署
陰影測試
市場模型套件支援
Virtual Private Cloud 支援
多種生產變體支援
網路隔離
模型並行服務支援 3 3
磁碟區加密
客戶 AWS KMS
d 執行個體支援
inf1 支援

1 Amazon EC2 執行個體類型的可用性取決於 AWS 區域。如需特定執行個體的可用性 AWS,請參閱 Amazon SageMaker AI 定價

2 若要使用任何其他架構或演算法,請使用 SageMaker AI 推論工具組來建置支援多模型端點的容器。

3 使用 SageMaker AI,您可以部署大型模型 (高達 500 GB) 以進行推論。您可以設定容器的運作狀態檢查和下載逾時配額 (最多不超過 60 分鐘)。這可讓您有更多時間下載並載入您的模型和相關資源。如需詳細資訊,請參閱大型模型推論的 SageMaker AI 端點參數。您可以使用 SageMaker AI 相容大型模型推論容器。您也可以使用第三方模型平行化程式庫,例如搭配 FasterTransformer 和 DeepSpeed 的 Triton。您必須確保它們與 SageMaker AI 相容。