本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
支援的執行個體類型和架構
Amazon SageMaker Neo 支援常用的深度學習架構，適用於編譯和部署。您可以將模型部署到雲端執行個體、 AWS Inferentia 執行個體類型或 Amazon Elastic Inference 加速器。
以下說明 SageMaker Neo 支援的架構以及您可以編譯和部署的目標雲端執行個體。如需如何將已編譯的模型部署到雲端或 Inferentia 執行個體的詳細資訊，請參閱使用雲端執行個體部署模型。如需如何使用 Elastic Inference 加速器部署已編譯模型的資訊，請參閱在 Amazon SageMaker 託管端點上使用 EI。
雲端執行個體
SageMaker Neo 支援下列適用於 CPU 和 GPU 雲端執行個體的深度學習架構：
| 架構 | 框架版本 | 模型版本 | 模型 | 模型格式（以 *.tar.gz 封裝） | 工具組 |
|---|---|---|---|---|---|
| MXNet | 1.8.0 | 支援 1.8.0 或更早版本 | 影像分類、物件偵測、語意分段、姿勢估算、活動辨識 | 一個符號檔案 (.json) 和一個參數檔案 (.params) | GluonCV v0.8.0 |
| ONNX | 1.7.0 | 支援 1.7.0 或更早版本 | 影像影像分類、SVM | 一個模型檔案 (.onnx) | |
| Keras | 2.2.4 | 支援 2.2.4 或更早版本 | 影像分類 | 一個模型定義檔案 (.h5) | |
| PyTorch | 1.4、1.5、1.6、1.7、1.8、1.12、1.13 或 2.0 | 支援 1.4、1.5、1.6、1.7、1.8、1.12、1.13 和 2.0 |
影像分類 版本 1.13 和 2.0 支持對象檢測，視覺變壓器和 HuggingFace |
一個具有輸入 dtype 之 float32 的模型定義檔案（.pt 或 .pth） | |
| TensorFlow | 1.15.3 或 2.9 | 支援 1.15.3 或 2.9 | 影像分類 | 針對「儲存的模型」，有一個 .pb 或一個 .pbtxt 檔案，以及包含變數的變數目錄 針對「凍結的模型」，只有一個 .pb 或 .pbtxt 檔案 |
|
| XGBoost | 1.3.3 | 支援 1.3.3 或更早版本 | 決策樹 | 一個 XGBoost 模型檔案（模型），其中樹中的節點數量低於 2^31 |
注意
「模型版本」是用來訓練和匯出模型的架構版本。
執行個體類型
您可以將 SageMaker 編譯的模型部署到下列其中一個雲端執行個體：
| 執行個體 | 運算類型 |
|---|---|
|
標準 |
|
標準 |
|
標準 |
|
標準 |
|
加速運算 |
|
加速運算 |
|
加速運算 |
如需每種執行個體類型的可用 vCPU、記憶體和每小時價格的詳細資訊，請參閱 Amazon SageMaker 定價
注意
使用 PyTorch 框架編譯ml_*實例時，請使用輸出配置中的編譯器選項字段來提供模型輸入的正確數據類型（dtype）。
預設設定為 "float32"。
AWS 推論
SageMaker Neo 支援下列 Inf1 的深度學習架構：
| 架構 | 框架版本 | 模型版本 | 模型 | 模型格式（以 *.tar.gz 封裝） | 工具組 |
|---|---|---|---|---|---|
| MXNet | 1.5 或 1.8 | 支援 1.8、1.5 或更早版本 | 影像分類、物件偵測、語意分段、姿勢估算、活動辨識 | 一個符號檔案 (.json) 和一個參數檔案 (.params) | GluonCV v0.8.0 |
| PyTorch | 1.7, 1.8 或 1.9 | 支援 1.9 或更早版本 | 影像分類 | 一個具有輸入 dtype 之 float32 的模型定義檔案（.pt 或 .pth） | |
| TensorFlow | 1.15 或 2.5 | 支援 2.5、1.15 或更早版本 | 影像分類 | 針對「儲存的模型」，有一個 .pb 或一個 .pbtxt 檔案，以及包含變數的變數目錄 針對「凍結的模型」，只有一個 .pb 或 .pbtxt 檔案 |
注意
「模型版本」是用來訓練和匯出模型的架構版本。
您可以將新 SageMaker 編譯的模型部署到以 AWS 推論為基礎的 Amazon EC2 Inf1 執行個體。 AWS Inferentia 是亞馬遜首款專為加速深度學習而設計的客製化矽晶片。目前，您可以使用 ml_inf1 執行個體來部署已編譯的模型。
AWS 推論 2 和翠葉草 AWS
目前，您可以將 SageMaker 新編譯的模型部署到以 In AWS ferentiA2 為基礎的 Amazon EC2 Inf2 執行個體 (位於美國東部 (俄亥俄) 區域)，以及以 AWS Trainium 為基礎的 Amazon EC2 Trn1 執行個體 (位於美國東部 (維吉尼亞北部) 區域)。如需有關這些執行個體上支援模型的詳細資訊，請參閱 AWS Neuron 文件中的模型架構適合指南
Amazon Elastic Inference
SageMaker Neo 支援下列 Elastic Inference 的深度學習架構：
| 架構 | 框架版本 | 模型版本 | 模型 | 模型格式（以 *.tar.gz 封裝） |
|---|---|---|---|---|
| TensorFlow | 2.3.2 | 支援 2.3 | 影像分類、物件偵測、語意分段、姿勢估算、活動辨識 | 針對「儲存的模型」，有一個 .pb 或一個 .pbtxt 檔案，以及包含變數的變數目錄。 針對「凍結的模型」，只有一個 .pb 或 .pbtxt 檔案。 |
您可以將新 SageMaker 編譯的模型部署到 Elastic Inference 加速器。如需更多詳細資訊，請參閱 在 Amazon SageMaker 託管端點上使用 EI。
