Container Docker per l’addestramento e l’implementazione di modelli

Pre-built SageMaker Algoritmo AI: utilizza l'immagine fornita con l'algoritmo integrato. Per ulteriori informazioni, consulta Usa Built-in algoritmi o Pre-trained modelli di Amazon SageMaker AI.

Modello personalizzato con contenitore SageMaker AI predefinito: se addestra o distribuisci un modello personalizzato, ma utilizzi un framework con un contenitore SageMaker AI predefinito che include TensorFlow e PyTorch, scegli una delle seguenti opzioni:

Non è possibile importare le dipendenze: estendi l'immagine Docker predefinita associata al framework. Per ulteriori informazioni, consulta Estendere un Pre-built contenitore.

Non puoi importare le dipendenze nel container predefinito, il container predefinito supporta requirements.txt: aggiungi tutte le dipendenze richieste in requirements.txt. I seguenti framework supportano l'utilizzo di requirements.txt.

Un TensorFlow modello è un modello personalizzato.

Poiché un TensorFlow modello verrà creato nel TensorFlow framework, utilizza il contenitore del TensorFlow framework predefinito per addestrare e ospitare il modello.

Se sono necessari pacchetti personalizzati nello script del punto di ingresso o nello script di inferenza , estendi il container predefinito o usa un file requirements.txt per installare le dipendenze in fase di esecuzione.

Usa un algoritmo o un framework di SageMaker intelligenza artificiale integrato. Nella maggior parte dei casi d'uso, puoi utilizzare gli algoritmi e i framework integrati senza preoccuparti dei container. Puoi addestrare e distribuire questi algoritmi dalla console SageMaker AI, da AWS Command Line Interface (AWS CLI), da un notebook Python o dall'SDK Amazon SageMaker Python. Puoi farlo specificando l'algoritmo o la versione del framework durante la creazione del tuo. ModelTrainer Gli algoritmi integrati disponibili sono descritti in modo dettagliato nell'argomento Built-in algoritmi e modelli preaddestrati in Amazon SageMaker. Per ulteriori informazioni sui framework disponibili, consulta Framework e linguaggi ML. Per un esempio di come addestrare e implementare un algoritmo integrato utilizzando un notebook Jupyter in esecuzione su un'istanza di notebook, consulta l' SageMaker argomento. Guida alla configurazione con Amazon SageMaker AI

Usa immagini di container AI predefinite SageMaker . In alternativa, puoi utilizzare gli algoritmi e i framework integrati utilizzando i contenitori Docker. SageMaker L'intelligenza artificiale fornisce contenitori per i suoi algoritmi integrati e immagini Docker predefinite per alcuni dei framework di machine learning più comuni, come Apache MXNet,, e Chainer. TensorFlow PyTorch Per un elenco completo delle immagini disponibili, consulta Immagini disponibili SageMaker dei contenitori di Deep Learning. https://github.com/aws/deep-learning-containers/blob/master/available_images.md Inoltre, supporta librerie di machine learning quali scikit-learn e SparkML. Se utilizzi l'SDK Amazon SageMaker Python, puoi distribuire i contenitori passando l'URI completo del contenitore alla rispettiva SageMaker classe SDK. ModelTrainer Per l'elenco completo dei framework di deep learning attualmente supportati dall'IA, consulta. SageMaker Immagini Docker SageMaker AI predefinite per il deep learning Per ulteriori informazioni sulle immagini container predefinite scikit-learn e SparkML, consulta Accesso alle immagini Docker per Scikit-learn e Spark ML. Per ulteriori informazioni sull'utilizzo dei framework con l'SDK Amazon SageMaker Python, consulta i rispettivi argomenti in. Framework e linguaggi di machine learning

Estendi un'immagine del contenitore AI preconfigurata SageMaker . Se desideri estendere un algoritmo SageMaker AI predefinito o modellare un'immagine Docker, puoi modificare l' SageMaker immagine per soddisfare le tue esigenze. Per un esempio, vedi Estendere i nostri contenitori. PyTorch

Adatta un'immagine del contenitore esistente: se desideri adattare un'immagine del contenitore preesistente per funzionare con l' SageMaker intelligenza artificiale, devi modificare il contenitore Docker per abilitare il toolkit SageMaker Training o Inference. Per un esempio che mostra come compilare i tuoi container per eseguire l’addestramento e l'hosting di un algoritmo, consulta Bring Your Own R Algorithm.

Errore: SageMaker AI ha perso il Docker demone.

Per risolvere questo errore, riavvia Docker utilizzando il comando seguente.

sudo service docker restart

Errore: lo spazio nella directory /tmp del container Docker è esaurito.

I container Docker utilizzano le partizioni / e /tmp per archiviare codice. Queste partizioni possono riempirsi facilmente quando si utilizzano moduli di codice di grandi dimensioni in modalità locale. L' SageMaker AI Python SDK supporta la specificazione di una directory temporanea personalizzata per la directory principale in modalità locale per evitare questo problema.

Per specificare la directory temporanea personalizzata nell’archiviazione del volume Amazon Elastic Block Store, crea un file al seguente percorso ~/.sagemaker/config.yaml e aggiungi la seguente configurazione. La directory specificata come container_root deve essere già esistente. L' SageMaker AI Python SDK non tenterà di crearlo.

local:
  container_root: /home/ec2-user/SageMaker/temp

Con questa configurazione, la modalità locale utilizza la directory /temp e non la directory predefinita /tmp.

Errori di spazio insufficienti sulle istanze del notebook SageMaker

Per impostazione predefinita, un Docker contenitore che viene eseguito su istanze SageMaker notebook utilizza il volume Amazon EBS principale dell'istanza del notebook. Per risolvere errori di spazio insufficiente, fornisci il percorso del volume Amazon EBS collegato all’istanza di notebook come parte del parametro volume dei comandi Docker.

docker run -v EBS-volume-path:container-path