Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Tipi di istanze e framework supportati
Amazon SageMaker Neo supporta i più diffusi framework di deep learning sia per la compilazione che per la distribuzione. Puoi distribuire il tuo modello su istanze cloud o tipi di istanze Inferentia. AWS
Di seguito vengono descritti i framework supportati da SageMaker Neo e le istanze cloud di destinazione su cui è possibile compilare e distribuire. Per informazioni su come distribuire il modello compilato su un'istanza cloud o Inferentia, consulta Distribuire un modello con istanze cloud.
Istanze cloud
SageMaker Neo supporta i seguenti framework di deep learning e istanze cloud: CPU GPU
| Framework | Versione di Framework | Versioni del modello | Modelli | Formati di modelli (pacchettizzati in *.tar.gz) | Kit di strumenti |
|---|---|---|---|---|---|
| MXNet | 1.8.0 | Supporta 1.8.0 o versioni precedenti | Classificazione delle immagini, Rilevamento di oggetti, Segmentazione semantica, Stima della posa, Riconoscimento delle attività | Un file di simboli (.json) e un file di parametri (.params) | GluonCV versione 0.8.0 |
| ONNX | 1.7.0 | Supporta 1.7.0 o versioni precedenti | Classificazione delle immagini, SVM | Un file di modello (.onnx) | |
| Keras | 2.2.4 | Supporta 2.2.4 o versioni precedenti | Classificazione delle immagini | Un file di definizione del modello (.h5) | |
| PyTorch | 1.4, 1.5, 1.6, 1.7, 1.8, 1,12, 1,13 o 2.0 | Supports 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 e 2.0 |
Classificazione delle immagini Le versioni 1.13 e 2.0 supportano Object Detection, Vision Transformer e HuggingFace |
Un file di definizione del modello (.pt o .pth) con input dtype float32 | |
| TensorFlow | 1.15.3 o 2.9 | Supporta 1.15.3 e 2.9 | Classificazione delle immagini | Per i modelli salvati, un file .pb o .pbtxt e una directory delle variabili che contiene variabili Per i modelli bloccati, un file .pb o.pbtxt |
|
| XGBoost | 1.3.3 | Supporta 1.3.3 o versioni precedenti | Alberi decisionali | Un file di XGBoost modello (.model) in cui il numero di nodi in un albero è inferiore a 2^31 |
Nota
“Versione del modello” è la versione del framework utilizzata per addestrare ed esportare il modello.
Tipi di istanza
Puoi distribuire il modello SageMaker compilato su una delle istanze cloud elencate di seguito:
| Istanza | Tipo di calcolo |
|---|---|
|
Standard |
|
Standard |
|
Standard |
|
Standard |
|
Elaborazione accelerata |
|
Elaborazione accelerata |
|
Elaborazione accelerata |
Per informazioni sulla vCPU, sulla memoria e sul prezzo orario disponibili per ogni tipo di istanza, consulta la pagina SageMaker dei prezzi di Amazon
Nota
Durante la compilazione di ml_* istanze utilizzando il PyTorch framework, utilizza il campo delle opzioni del compilatore nella configurazione di output per fornire il tipo di dati corretto (dtype) dell'input del modello.
Il valore predefinito è impostato su "float32".
AWS Inferentia
SageMaker Neo supporta i seguenti framework di deep learning per Inf1:
| Framework | Versione di Framework | Versioni del modello | Modelli | Formati di modelli (pacchettizzati in *.tar.gz) | Kit di strumenti |
|---|---|---|---|---|---|
| MXNet | 1.5 o 1.8 | Supporta 1.8, 1.5 e versioni precedenti | Classificazione delle immagini, Rilevamento di oggetti, Segmentazione semantica, Stima della posa, Riconoscimento delle attività | Un file di simboli (.json) e un file di parametri (.params) | GluonCV versione 0.8.0 |
| PyTorch | 1.7, 1.8 o 1.9 | Supporta 1.9 e versioni precedenti | Classificazione delle immagini | Un file di definizione del modello (.pt o .pth) con input dtype float32 | |
| TensorFlow | 1.15 o 2.5 | Supporta 2.5, 1.15 e versioni precedenti | Classificazione delle immagini | Per i modelli salvati, un file .pb o .pbtxt e una directory delle variabili che contiene variabili Per i modelli bloccati, un file .pb o.pbtxt |
Nota
“Versione del modello” è la versione del framework utilizzata per addestrare ed esportare il modello.
Puoi distribuire il tuo modello SageMaker NEO-compilato su istanze Amazon Inf1 basate su Inferenza AWS . EC2 AWS Inferentia è il primo chip in silicio personalizzato di Amazon progettato per accelerare il deep learning. Attualmente, puoi utilizzare l'istanza ml_inf1 per distribuire i tuoi modelli compilati.
AWS Inferentia2 e Trainium AWS
Attualmente, puoi distribuire il tuo modello SageMaker NEO-compilato su istanze AWS Amazon EC2 Inf2 basate su Inferentia2 (nella regione Stati Uniti orientali (Ohio)) e su istanze Amazon Trn1 AWS basate su Trainium (nella regione Stati Uniti orientali (Virginia settentrionale)). EC2 Per ulteriori informazioni sui modelli supportati su queste istanze, consulta le linee guida per l'adattamento dell'architettura dei modelli nella documentazione di Neuron e gli esempi nel repository Neuron Github. AWS
