Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Punti di controllo in Amazon SageMaker AI
Usa i checkpoint in Amazon SageMaker AI per salvare lo stato dei modelli di machine learning (ML) durante la formazione. I checkpoint sono istantanee del modello e possono essere configurati tramite le funzioni di callback dei framework ML. È possibile utilizzare i checkpoint salvati per riavviare un job di addestramento dall’ultimo checkpoint salvato.
Utilizzando i checkpoint, puoi eseguire le seguenti operazioni:
-
Salvare le istantanee del modello durante l'addestramento a causa di un'interruzione imprevista del processo o dell'istanza di addestramento.
-
Riprendere ad addestrare il modello in futuro da un checkpoint.
-
Analizzare il modello nelle fasi intermedie dell’addestramento.
-
Utilizzare i checkpoint con S3 Express One Zone per una maggiore velocità di accesso.
-
Usa i checkpoint con la formazione in loco gestita dall' SageMaker IA per risparmiare sui costi di formazione.
Il meccanismo di SageMaker formazione utilizza contenitori di formazione su istanze Amazon EC2 e i file di checkpoint vengono salvati in una directory locale dei contenitori (l'impostazione predefinita è). /opt/ml/checkpoints SageMaker L'intelligenza artificiale fornisce la funzionalità per copiare i checkpoint dal percorso locale ad Amazon S3 e sincronizza automaticamente i checkpoint in quella directory con S3. I checkpoint esistenti in S3 vengono scritti nel contenitore SageMaker AI all'inizio del processo, consentendo la ripresa dei lavori da un checkpoint. I checkpoint aggiunti alla cartella S3 dopo l'avvio del lavoro non vengono copiati nel contenitore di formazione. SageMaker L'intelligenza artificiale scrive anche nuovi checkpoint dal container a S3 durante l'addestramento. Se un checkpoint viene eliminato nel contenitore SageMaker AI, verrà eliminato anche nella cartella S3.
Puoi utilizzare i checkpoint in Amazon SageMaker AI con la classe di storage Amazon S3 Express One Zone (S3 Express One Zone) per un accesso più rapido ai checkpoint. Quando abiliti il checkpointing e specifichi l’URI S3 per la destinazione di archiviazione del checkpoint, puoi fornire un URI S3 per una cartella in un bucket S3 generico o di directory S3. I bucket di directory S3 integrati con l' SageMaker IA possono essere crittografati solo con crittografia lato server con chiavi gestite da Amazon S3 (). SSE-S3 Server-side la crittografia con AWS KMS chiavi (SSE-KMS) non è attualmente supportata. Per ulteriori informazioni sui bucket di directory S3 Express One Zone ed S3, consulta Che cos’è S3 Express One Zone.
Se utilizzi i checkpoint con l'addestramento spot gestito dall' SageMaker IA, SageMaker AI gestisce l'addestramento del modello su un'istanza spot e la ripresa del processo di addestramento sull'istanza spot successiva. Con la formazione in loco gestita dall' SageMaker intelligenza artificiale, puoi ridurre in modo significativo il tempo fatturabile per l'addestramento dei modelli ML. Per ulteriori informazioni, consulta Formazione Spot gestita in Amazon SageMaker AI.
Argomenti
Punti di controllo per framework e algoritmi nell'IA SageMaker
Usa i checkpoint per salvare istantanee di modelli ML creati sui tuoi framework preferiti all'interno dell'IA. SageMaker
SageMaker Framework e algoritmi di intelligenza artificiale che supportano il checkpoint
SageMaker L'intelligenza artificiale supporta il checkpointing per i AWS Deep Learning Containers e un sottoinsieme di algoritmi integrati senza richiedere modifiche agli script di addestramento. SageMaker L'intelligenza artificiale salva i checkpoint nel percorso locale predefinito '/opt/ml/checkpoints' e li copia su Amazon S3.
-
Contenitori per il deep learning: TensorFlow
, PyTorch , https://sagemaker.readthedocs.io/en/stable/api/sagemaker_train.html MXNet e HuggingFace Nota
Se si utilizza lo stimatore del HuggingFace framework, è necessario specificare un percorso di output del checkpoint tramite iperparametri. Per ulteriori informazioni, consulta Run training on Amazon SageMaker AI
nella documentazione. HuggingFace -
Built-in algoritmi: classificazione delle immagini, rilevamento degli oggetti, segmentazione semantica e XGBoost (0.90-1 o successivo)
Nota
Se si utilizza l'algoritmo XGBoost in modalità framework (modalità script), è necessario utilizzare uno script di addestramento XGBoost con checkpoint configurato manualmente. Per ulteriori informazioni sui metodi di addestramento di XGBoost per salvare le istantanee dei modelli, consulta Addestramento XGBoost
nella documentazione di XGBoost Python SDK.
Se un algoritmo predefinito che non supporta il checkpoint viene utilizzato in un processo di formazione in loco gestito, l' SageMaker intelligenza artificiale non consente un tempo di attesa massimo superiore a un'ora per il lavoro, al fine di limitare il tempo di formazione sprecato a causa di interruzioni.
Per i container di addestramento personalizzati e altri framework
Se si utilizzano contenitori di formazione, script di formazione o altri framework non elencati nella sezione precedente, è necessario configurare correttamente lo script di addestramento utilizzando callback o API di formazione per salvare i checkpoint nel percorso locale ('/opt/ml/checkpoints') e caricarli dal percorso locale nello script di formazione. SageMaker Gli stimatori AI possono sincronizzarsi con il percorso locale e salvare i checkpoint su Amazon S3.
Considerazioni sul checkpointing
Considera quanto segue quando usi i checkpoint nell'IA. SageMaker
-
Per evitare sovrascritture nell’addestramento distribuito con più istanze, devi configurare manualmente i nomi e i percorsi dei file di checkpoint nello script di addestramento. La configurazione dei checkpoint SageMaker AI di alto livello specifica una singola posizione di Amazon S3 senza suffissi o prefissi aggiuntivi per etichettare i checkpoint di più istanze.
-
L'SDK SageMaker Python non supporta la configurazione di alto livello per la frequenza di checkpoint. Per controllare la frequenza dei checkpoint, modifica lo script di addestramento utilizzando le funzioni di salvataggio del modello o i callback dei checkpoint del framework.
-
Se utilizzi i checkpoint SageMaker AI con SageMaker Debugger e SageMaker AI distribuiti e stai riscontrando problemi, consulta le pagine seguenti per la risoluzione dei problemi e le considerazioni.
