翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
サポートされるインスタンスタイプとフレームワーク
Amazon SageMaker Neo は、コンパイルとデプロイの両方で一般的な深層学習フレームワークをサポートしています。モデルをクラウドインスタンスまたは Inferentia AWS インスタンスタイプにデプロイできます。
以下は、 SageMaker Neo がサポートするフレームワークと、コンパイルしてデプロイできるターゲットクラウドインスタンスについて説明します。コンパイル済みのモデルをクラウドまたは Inferentia インスタンスにデプロイする方法については、「クラウドインスタンスにモデルをデプロイする」を参照してください。
クラウドインスタンス
SageMaker Neo は、 CPUおよび GPU クラウドインスタンス用の次の深層学習フレームワークをサポートしています。
| フレームワーク | フレームワークのバージョン | モデルのバージョン | モデル | モデル形式 (*.tar.gz 内にパッケージ) | ツールキット |
|---|---|---|---|---|---|
| MXNet | 1.8.0 | 1.8.0 以前をサポート | イメージ分類、オブジェクト検出、セマンティックセグメンテーション、姿勢推定、行動認識 | シンボルファイル (.json) を 1 つ、パラメータファイル (.params) を 1 つ | GluonCV v0.8.0 |
| ONNX | 1.7.0 | 1.7.0 以前をサポート | 画像分類、 SVM | モデルファイル (.onnx) を 1 つ | |
| Keras | 2.2.4 | 2.2.4 以前をサポート | イメージ分類 | モデル定義ファイル (.h5) を 1 つ | |
| PyTorch | 1.4、1.5、1.6、1.7、1.8、1.12、1.13、または 2.0 | 1.4、1.5、1.6、1.7、1.8、1.12、1.13、2.0 をサポート |
イメージ分類 バージョン 1.13 および 2.0 では、オブジェクト検出、ビジョントランスフォーマー、および がサポートされています。 HuggingFace |
入力 dtype が float32 のモデル定義ファイル (.pt または .pth) を 1 つ | |
| TensorFlow | 1.15.3 または 2.9 | 1.15.3、2.9 をサポート | イメージ分類 | Saved モデルの場合、.pb ファイルを 1 つまたは .pbtxt ファイルを 1 つ、および変数を含む変数ディレクトリを想定します Frozen モデルの場合は、.pb または .pbtxt ファイルのいずれか 1 つのみ |
|
| XGBoost | 1.3.3 | 1.3.3 以前をサポート | 決定木 | ツリー内のノード数が 2^31 未満のXGBoostモデルファイル (.model) |
注記
「モデルのバージョン」は、モデルのトレーニングとエクスポートに使われるフレームワークのバージョンです。
インスタンスタイプ
SageMaker コンパイルしたモデルを、以下にリストされているクラウドインスタンスのいずれかにデプロイできます。
| インスタンス | コンピューティングタイプ |
|---|---|
|
標準 |
|
標準 |
|
標準 |
|
標準 |
|
高速コンピューティング |
|
高速コンピューティング |
|
高速コンピューティング |
各インスタンスタイプの利用可能な v CPU、メモリ、および 1 時間あたりの料金については、「Amazon SageMaker 料金
注記
PyTorch フレームワークを使用してml_*インスタンス用にコンパイルする場合は、出力設定の Compiler オプションフィールドを使用して、モデルの入力の正しいデータ型 (dtype) を指定します。
デフォルトでは "float32" に設定されています。
AWS 推論
SageMaker Neo は Inf1 で次の深層学習フレームワークをサポートしています。
| フレームワーク | フレームワークのバージョン | モデルのバージョン | モデル | モデル形式 (*.tar.gz 内にパッケージ) | ツールキット |
|---|---|---|---|---|---|
| MXNet | 1.5 または 1.8 | 1.8、1.5 以前をサポート | イメージ分類、オブジェクト検出、セマンティックセグメンテーション、姿勢推定、行動認識 | シンボルファイル (.json) を 1 つ、パラメータファイル (.params) を 1 つ | GluonCV v0.8.0 |
| PyTorch | 1.7、1.8 または 1.9 | 1.9 以前をサポート | イメージ分類 | 入力 dtype が float32 のモデル定義ファイル (.pt または .pth) を 1 つ | |
| TensorFlow | 1.15 または 2.5 | 2.5、1.15 以前をサポート | イメージ分類 | Saved モデルの場合、.pb ファイルを 1 つまたは .pbtxt ファイルを 1 つ、および変数を含む変数ディレクトリを想定します Frozen モデルの場合は、.pb または .pbtxt ファイルのいずれか 1 つのみ |
注記
「モデルのバージョン」は、モデルのトレーニングとエクスポートに使われるフレームワークのバージョンです。
SageMaker Neo コンパイルモデルを AWS Inferentia ベースの Amazon EC2 Inf1 インスタンスにデプロイできます。 AWS Inferentia は、深層学習を加速するように設計された Amazon 初のカスタムシリコンチップです。現在、ml_inf1 インスタンスを使ってコンパイル済みモデルをデプロイできます。
AWS Inferentia2 と AWS Trainium
現在、 SageMaker Neo コンパイルモデルを AWS Inferentia2-based Amazon EC2 Inf2 インスタンス (米国東部 (オハイオ) リージョン) および AWS Trainium ベースの Amazon EC2 Trn1 インスタンス (米国東部 (バージニア北部) リージョン) にデプロイできます。これらのインスタンスでサポートされているモデルの詳細については、 AWS 「Neuron ドキュメント」の「モデルアーキテクチャフィットガイドライン
