本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
支援的功能
Amazon SageMaker AI 提供下列四個選項來部署模型以進行推論。
-
即時推論,適用於即時、互動式、低延遲需要的推論工作負載。
-
批次轉換,適用於具有大型資料集的離線推論。
-
非同步推論,適用於具有需要較長預先處理時間之大型輸入的接近即時推論。
-
無伺服器推論,適用於流量範圍之間有閒置期間的推論工作負載。
下表摘要說明每個推論選項支援的核心平台功能。它不會顯示架構、自訂 Docker 容器或透過串連不同 AWS 服務所提供的功能。
功能 | 即時推論 | 批次轉換 | 非同步推論 | 無伺服器推論 | Docker 容器 |
---|---|---|---|---|---|
自動調整規模支援 | ✓ | N/A | ✓ | ✓ | N/A |
GPU 支援 | ✓1 | ✓1 | ✓1 | 1P、預先建置、BYOC | |
單一模型 | ✓ | ✓ | ✓ | ✓ | N/A |
多模型端點 | ✓ | k-NN、XGBoost、線性學習程式、RCF、TensorFlow、Apache MXNet、PyTorch、scikit-learn 2 | |||
多容器端點 | ✓ | 1P、預先建置、延伸預先建置、BYOC | |||
序列推論管道 | ✓ | ✓ | 1P、預先建置、延伸預先建置、BYOC | ||
推論建議程式 | ✓ | 1P、預先建置、延伸預先建置、BYOC | |||
私有連結支援 | ✓ | ✓ | ✓ | N/A | |
資料擷取/模型監控支援 | ✓ | ✓ | N/A | ||
支援的 DLC |
1P、預先建置、延伸預先建置、BYOC | 1P、預先建置、延伸預先建置、BYOC | 1P、預先建置、延伸預先建置、BYOC | 1P、預先建置、延伸預先建置、BYOC | N/A |
支援的通訊協定 | HTTP(S) | HTTP(S) | HTTP(S) | HTTP(S) | N/A |
承載大小 | < 6 MB | ≤ 100 MB | ≤ 1 GB | ≤ 4 MB | |
HTTP 區塊編碼 | 架構相依、1P 不支援 | N/A | 架構相依、1P 不支援 | 架構相依、1P 不支援 | N/A |
請求逾時 | < 60 秒 | 天 | < 1 小時 | < 60 秒 | N/A |
部署防護機制:藍/綠部署 | ✓ | N/A | ✓ | N/A | |
部署防護機制:滾動部署 | ✓ | N/A | ✓ | N/A | |
陰影測試 | ✓ | N/A | |||
擴展至零 | N/A | ✓ | ✓ | N/A | |
市場模型套件支援 | ✓ | ✓ | N/A | ||
Virtual Private Cloud 支援 | ✓ | ✓ | ✓ | N/A | |
多種生產變體支援 | ✓ | N/A | |||
網路隔離 | ✓ | ✓ | N/A | ||
模型並行服務支援 | ✓3 | ✓ | ✓3 | ✓3 | |
磁碟區加密 | ✓ | ✓ | ✓ | ✓ | N/A |
客戶 AWS KMS | ✓ | ✓ | ✓ | ✓ | N/A |
d 執行個體支援 | ✓ | ✓ | ✓ | N/A | |
inf1 支援 | ✓ | ✓ |
使用 SageMaker AI,您可以在單一推論端點後方部署單一模型或多個模型,以進行即時推論。下表摘要說明各種託管選項支援的核心功能,包括即時推論。
功能 | 單一模型端點 | 多模型端點 | 序列推論管道 | 多容器端點 |
---|---|---|---|---|
自動調整規模支援 | ✓ | ✓ | ✓ | ✓ |
GPU 支援 | ✓1 | ✓ | ✓ | |
單一模型 | ✓ | ✓ | ✓ | ✓ |
多模型端點 | ✓ | ✓ | N/A | |
多容器端點 | ✓ | N/A | ||
序列推論管道 | ✓ | ✓ | N/A | |
推論建議程式 | ✓ | |||
私有連結支援 | ✓ | ✓ | ✓ | ✓ |
資料擷取/模型監控支援 | ✓ | N/A | N/A | N/A |
支援的 DLC | 1P、預先建置、延伸預先建置、BYOC | k-NN、XGBoost、線性學習程式、RCF、TensorFlow、Apache MXNet、PyTorch、scikit-learn 2 | 1P、預先建置、延伸預先建置、BYOC | 1P、預先建置、延伸預先建置、BYOC |
支援的通訊協定 | HTTP(S) | HTTP(S) | HTTP(S) | HTTP(S) |
承載大小 | < 6 MB | < 6 MB | < 6 MB | < 6 MB |
請求逾時 | < 60 秒 | < 60 秒 | < 60 秒 | < 60 秒 |
部署防護機制:藍/綠部署 | ✓ | ✓ | ✓ | ✓ |
部署防護機制:滾動部署 | ✓ | ✓ | ✓ | ✓ |
陰影測試 | ✓ | |||
市場模型套件支援 | ✓ | |||
Virtual Private Cloud 支援 | ✓ | ✓ | ✓ | ✓ |
多種生產變體支援 | ✓ | ✓ | ✓ | |
網路隔離 | ✓ | ✓ | ✓ | ✓ |
模型並行服務支援 | ✓ 3 | ✓ 3 | ||
磁碟區加密 | ✓ | ✓ | ✓ | ✓ |
客戶 AWS KMS | ✓ | ✓ | ✓ | ✓ |
d 執行個體支援 | ✓ | ✓ | ✓ | ✓ |
inf1 支援 | ✓ |
1 Amazon EC2 執行個體類型的可用性取決於 AWS 區域。如需特定執行個體的可用性 AWS,請參閱 Amazon SageMaker AI 定價
2 若要使用任何其他架構或演算法,請使用 SageMaker AI 推論工具組來建置支援多模型端點的容器。
3 使用 SageMaker AI,您可以部署大型模型 (高達 500 GB) 以進行推論。您可以設定容器的運作狀態檢查和下載逾時配額 (最多不超過 60 分鐘)。這可讓您有更多時間下載並載入您的模型和相關資源。如需詳細資訊,請參閱大型模型推論的 SageMaker AI 端點參數。您可以使用 SageMaker AI 相容大型模型推論容器