Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Contenitori Docker per la formazione e l'implementazione di modelli
Amazon SageMaker AI fa un uso estensivo dei contenitori Docker per le attività di compilazione e runtime. SageMaker L'intelligenza artificiale fornisce immagini Docker predefinite per i suoi algoritmi integrati e i framework di deep learning supportati utilizzati per la formazione e l'inferenza. Utilizzando i container, puoi eseguire l’addestramento di algoritmi di machine learning e distribuire modelli in modo rapido e affidabile su qualsiasi scala. Gli argomenti di questa sezione mostrano come distribuire questi container per i tuoi casi d'uso. Per informazioni su come portare i propri contenitori da utilizzare con Amazon SageMaker Studio Classic, consultaPorta la tua immagine SageMaker AI.
Argomenti
Scenari per l'esecuzione di script, l'addestramento di algoritmi o la distribuzione di modelli con intelligenza artificiale SageMaker
Amazon SageMaker AI utilizza sempre i contenitori Docker per eseguire script, addestrare algoritmi e distribuire modelli. Il tuo livello di coinvolgimento con i container varia a seconda del tuo caso d'uso.
Il seguente albero decisionale illustra tre scenari principali: casi d'uso per l'utilizzo di contenitori Docker predefiniti con SageMaker intelligenza artificiale; casi d'uso per l'estensione di un contenitore Docker preconfigurato; casi d'uso per la creazione di container personalizzati.
Argomenti
Casi d'uso per l'utilizzo di contenitori Docker predefiniti con AI SageMaker
Prendi in considerazione i seguenti casi d'uso quando utilizzi contenitori con SageMaker AI:
-
Algoritmo SageMaker AI predefinito: utilizza l'immagine fornita con l'algoritmo integrato. Per ulteriori informazioni, consulta Utilizzare algoritmi integrati o modelli preaddestrati di Amazon SageMaker AI.
-
Modello personalizzato con contenitore SageMaker AI predefinito: se addestra o distribuisci un modello personalizzato, ma utilizzi un framework con un contenitore SageMaker AI precostruito PyTorch, che include TensorFlow e scegli una delle seguenti opzioni:
-
Se non hai bisogno di un pacchetto personalizzato e il container include già tutti i pacchetti richiesti, usa l'immagine Docker predefinita associata al tuo framework. Per ulteriori informazioni, consulta Immagini Docker AI predefinite SageMaker .
-
Se hai bisogno di un pacchetto personalizzato installato in uno dei container predefiniti: conferma che l'immagine Docker predefinita consenta un file requirements.txt oppure estendi il container predefinito in base ai seguenti casi d'uso.
-
Casi d'uso per estendere un container Docker predefinito
Di seguito sono riportati i casi d'uso per l'estensione di un container Docker predefinito:
-
Non è possibile importare le dipendenze: estendi l'immagine Docker predefinita associata al framework. Per ulteriori informazioni, consulta Estensione di un container predefinito.
-
Non puoi importare le dipendenze nel container predefinito, il container predefinito supporta requirements.txt: aggiungi tutte le dipendenze richieste in requirements.txt. I seguenti framework supportano l'utilizzo di requirements.txt.
Caso d'uso per costruire il proprio container
Se crei o addestri un modello personalizzato e hai bisogno di un framework personalizzato che non abbia un'immagine predefinita, crea un container personalizzato.
Come esempio di formazione e implementazione di un TensorFlow modello, la seguente guida mostra come determinare l'opzione delle sezioni precedenti di Casi d'uso adatta al caso.
Si supponga di avere i seguenti requisiti per la formazione e l'implementazione di un TensorFlow modello.
-
Un TensorFlow modello è un modello personalizzato.
-
Poiché un TensorFlow modello verrà creato nel TensorFlow framework, utilizzate il contenitore framework TensorFlow predefinito per addestrare e ospitare il modello.
-
Se sono necessari pacchetti personalizzati nello script del punto di ingresso
o nello script di inferenza , estendi il container predefinito o usa un file requirements.txt per installare le dipendenze in fase di esecuzione.
Dopo aver determinato il tipo di contenitore necessario, l'elenco seguente fornisce dettagli sulle opzioni elencate in precedenza.
-
Utilizza un algoritmo o un framework di SageMaker intelligenza artificiale integrato. Nella maggior parte dei casi d'uso, puoi utilizzare gli algoritmi e i framework integrati senza preoccuparti dei container. Puoi addestrare e distribuire questi algoritmi dalla console SageMaker AI, da AWS Command Line Interface (AWS CLI), da un notebook Python o dall'SDK Amazon Python. SageMaker
È possibile farlo specificando l'algoritmo o la versione del framework durante la creazione dello strumento di valutazione. Gli algoritmi integrati disponibili sono descritti in modo dettagliato nell'argomento Algoritmi integrati e modelli preaddestrati in Amazon SageMaker. Per ulteriori informazioni sui framework disponibili, consulta Framework e linguaggi ML. Per un esempio di come addestrare e distribuire un algoritmo integrato utilizzando un notebook Jupyter in esecuzione in un'istanza di notebook, consulta l'argomento. SageMaker Guida alla configurazione con Amazon SageMaker AI -
Utilizza immagini di container AI predefinite SageMaker . In alternativa, puoi utilizzare gli algoritmi e i framework integrati utilizzando i contenitori Docker. SageMaker L'intelligenza artificiale fornisce contenitori per i suoi algoritmi integrati e immagini Docker predefinite per alcuni dei framework di apprendimento automatico più comuni, come Apache, e Chainer. MXNet TensorFlow PyTorch Per un elenco completo delle immagini SageMaker AI disponibili, consulta Available Deep Learning Containers Images
. Inoltre, supporta librerie di machine learning quali scikit-learn e SparkML. Se utilizzi l'SDK Amazon SageMaker Python , puoi distribuire i contenitori passando l'URI completo del contenitore alla rispettiva SageMaker classe SDK AI. EstimatorPer l'elenco completo dei framework di deep learning attualmente supportati dall'IA, consulta. SageMaker Immagini Docker SageMaker AI predefinite per il deep learning Per ulteriori informazioni sulle immagini container predefinite scikit-learn e SparkML, consulta Accesso alle immagini Docker per Scikit-learn e Spark ML. Per ulteriori informazioni sull'uso dei framework con l'SDK Amazon SageMaker Python, consulta i rispettivi argomenti in. Framework e linguaggi di machine learning -
Estendi un'immagine di contenitore AI preconfigurata SageMaker . Se desideri estendere un algoritmo SageMaker AI predefinito o un'immagine Docker modello, puoi modificare l'immagine SageMaker AI per soddisfare le tue esigenze. Per un esempio, vedi Estendere i nostri contenitori
. PyTorch -
Adattare un'immagine di contenitore esistente: se desideri adattare un'immagine di contenitore preesistente per lavorare con l' SageMaker intelligenza artificiale, devi modificare il contenitore Docker per abilitare il toolkit SageMaker Training o Inference. Per un esempio che mostra come compilare i tuoi container per eseguire l’addestramento e l'hosting di un algoritmo, consulta Bring Your Own R Algorithm
.
Risoluzione dei problemi relativi al Docker contenitori e implementazioni
Di seguito sono riportati gli errori più comuni che potrebbero verificarsi durante l'utilizzo Docker contenitori con SageMaker intelligenza artificiale. Ogni errore è seguito da una soluzione all'errore.
-
Errore: SageMaker AI ha perso il Docker demone.
Per risolvere questo errore, riavvia Docker utilizzando il comando seguente.
sudo service docker restart -
Errore: la
/tmpdirectory del tuo Docker lo spazio nel contenitore è esaurito.Docker i contenitori utilizzano le
/tmppartizioni/and per memorizzare il codice. Queste partizioni possono riempirsi facilmente quando si utilizzano moduli di codice di grandi dimensioni in modalità locale. L'SDK SageMaker AI Python supporta la specificazione di una directory temporanea personalizzata per la directory principale in modalità locale per evitare questo problema.Per specificare la directory temporanea personalizzata nello storage del volume Amazon Elastic Block Store, crea un file nel seguente percorso
~/.sagemaker/config.yamle aggiungi la seguente configurazione. La directory specificata comecontainer_rootdeve essere già esistente. L'SDK SageMaker AI Python non proverà a crearlo.local: container_root: /home/ec2-user/SageMaker/tempCon questa configurazione, la modalità locale utilizza la directory
/tempe non la directory predefinita/tmp. -
Errori di spazio insufficiente sulle istanze del notebook SageMaker
A Docker Il contenitore che viene eseguito su istanze SageMaker notebook utilizza per impostazione predefinita il volume Amazon EBS root dell'istanza notebook. Per risolvere gli errori di spazio insufficiente, fornisci il percorso del volume Amazon EBS collegato all'istanza del notebook come parte del parametro volume di Docker comandi.
docker run -vEBS-volume-path:container-path
