支援的功能 - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

支援的功能

Amazon SageMaker AI 提供下列四個選項來部署模型以進行推論。

  • 即時推論，適用於即時、互動式、低延遲需要的推論工作負載。

  • 批次轉換，適用於具有大型資料集的離線推論。

  • 非同步推論，適用於具有需要較長預先處理時間之大型輸入的接近即時推論。

  • 無伺服器推論，適用於流量範圍之間有閒置期間的推論工作負載。

下表摘要說明每個推論選項支援的核心平台功能。它不會顯示架構、自訂 Docker 容器或透過串連不同 AWS 服務所提供的功能。

功能 即時推論 批次轉換 非同步推論 無伺服器推論 Docker 容器
自動調整規模支援 ✓ N/A ✓ ✓ N/A
GPU 支援 ✓1 ✓1 ✓1 1P、預先建置、BYOC
單一模型 ✓ ✓ ✓ ✓ N/A
多模型端點 ✓ k-NN、XGBoost、線性學習程式、RCF、TensorFlow、Apache MXNet、PyTorch、scikit-learn 2
多容器端點 ✓ 1P、預先建置、延伸預先建置、BYOC
序列推論管道 ✓ ✓ 1P、預先建置、延伸預先建置、BYOC
推論建議程式 ✓ 1P、預先建置、延伸預先建置、BYOC
私有連結支援 ✓ ✓ ✓ N/A
資料擷取/模型監控支援 ✓ ✓ N/A
支援的 DLC 1P、預先建置、延伸預先建置、BYOC 1P、預先建置、延伸預先建置、BYOC 1P、預先建置、延伸預先建置、BYOC 1P、預先建置、延伸預先建置、BYOC N/A
支援的通訊協定 HTTP(S) HTTP(S) HTTP(S) HTTP(S) N/A
承載大小 < 6 MB ≤ 100 MB ≤ 1 GB ≤ 4 MB
HTTP 區塊編碼 架構相依、1P 不支援 N/A 架構相依、1P 不支援 架構相依、1P 不支援 N/A
請求逾時 < 60 秒 天 < 1 小時 < 60 秒 N/A
部署防護機制：藍/綠部署 ✓ N/A ✓ N/A
部署防護機制：滾動部署 ✓ N/A ✓ N/A
陰影測試 ✓ N/A
擴展至零 N/A ✓ ✓ N/A
市場模型套件支援 ✓ ✓ N/A
Virtual Private Cloud 支援 ✓ ✓ ✓ N/A
多種生產變體支援 ✓ N/A
網路隔離 ✓ ✓ N/A
模型並行服務支援 ✓3 ✓ ✓3 ✓3
磁碟區加密 ✓ ✓ ✓ ✓ N/A
客戶 AWS KMS ✓ ✓ ✓ ✓ N/A
d 執行個體支援 ✓ ✓ ✓ N/A
inf1 支援 ✓ ✓

使用 SageMaker AI，您可以在單一推論端點後方部署單一模型或多個模型，以進行即時推論。下表摘要說明各種託管選項支援的核心功能，包括即時推論。

功能 單一模型端點 多模型端點 序列推論管道 多容器端點
自動調整規模支援 ✓ ✓ ✓ ✓
GPU 支援 ✓1 ✓ ✓
單一模型 ✓ ✓ ✓ ✓
多模型端點 ✓ ✓ N/A
多容器端點 ✓ N/A
序列推論管道 ✓ ✓ N/A
推論建議程式 ✓
私有連結支援 ✓ ✓ ✓ ✓
資料擷取/模型監控支援 ✓ N/A N/A N/A
支援的 DLC 1P、預先建置、延伸預先建置、BYOC k-NN、XGBoost、線性學習程式、RCF、TensorFlow、Apache MXNet、PyTorch、scikit-learn 2 1P、預先建置、延伸預先建置、BYOC 1P、預先建置、延伸預先建置、BYOC
支援的通訊協定 HTTP(S) HTTP(S) HTTP(S) HTTP(S)
承載大小 < 6 MB < 6 MB < 6 MB < 6 MB
請求逾時 < 60 秒 < 60 秒 < 60 秒 < 60 秒
部署防護機制：藍/綠部署 ✓ ✓ ✓ ✓
部署防護機制：滾動部署 ✓ ✓ ✓ ✓
陰影測試 ✓
市場模型套件支援 ✓
Virtual Private Cloud 支援 ✓ ✓ ✓ ✓
多種生產變體支援 ✓ ✓ ✓
網路隔離 ✓ ✓ ✓ ✓
模型並行服務支援 ✓ 3 ✓ 3
磁碟區加密 ✓ ✓ ✓ ✓
客戶 AWS KMS ✓ ✓ ✓ ✓
d 執行個體支援 ✓ ✓ ✓ ✓
inf1 支援 ✓

1 Amazon EC2 執行個體類型的可用性取決於 AWS 區域。如需特定執行個體的可用性 AWS，請參閱 Amazon SageMaker AI 定價。

2 若要使用任何其他架構或演算法，請使用 SageMaker AI 推論工具組來建置支援多模型端點的容器。

3 使用 SageMaker AI，您可以部署大型模型 （高達 500 GB) 以進行推論。您可以設定容器的運作狀態檢查和下載逾時配額 (最多不超過 60 分鐘)。這可讓您有更多時間下載並載入您的模型和相關資源。如需詳細資訊，請參閱大型模型推論的 SageMaker AI 端點參數。您可以使用 SageMaker AI 相容大型模型推論容器。您也可以使用第三方模型平行化程式庫，例如搭配 FasterTransformer 和 DeepSpeed 的 Triton。您必須確保它們與 SageMaker AI 相容。