Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Caratteristiche principali della libreria di parallelismo dei SageMaker modelli v2
La libreria di parallelismo dei SageMaker modelli Amazon v2 (SMPv2) offre strategie di distribuzione e tecniche di risparmio di memoria, come il parallelismo dei dati condivisi, il parallelismo tensoriale e il checkpoint. Le strategie e le tecniche di parallelismo dei modelli offerte da v2 aiutano a distribuire modelli di grandi dimensioni su più dispositivi, ottimizzando al contempo la velocità di allenamento e il consumo di memoria. SMP SMPv2 fornisce anche un torch.sagemaker
pacchetto Python per aiutare ad adattare lo script di addestramento con poche righe di modifica del codice.
Questa guida segue il flusso di base in due fasi introdotto in. Usa la libreria di parallelismo dei SageMaker modelli v2 Per approfondire le funzionalità principali della SMP v2 e come utilizzarle, consulta i seguenti argomenti.
Nota
Queste funzionalità principali sono disponibili nella versione SMP 2.0.0 e successive e in SageMaker Python SDK v2.200.0 e versioni successive e funzionano per la versione 2.0.1 e successive. PyTorch Per controllare le versioni dei pacchetti, vedi. Framework supportati e Regioni AWS
Argomenti
- Parallelismo ibrido dei dati frammentati
- Parallelismo esperto
- Parallelismo del contesto
- Compatibilità con la SMDDP libreria ottimizzata per l'infrastruttura AWS
- Allenamento misto di precisione
- Inizializzazione ritardata dei parametri
- Checkpoint di attivazione
- Offload di attivazione
- Parallelismo tensoriale
- Ottimizzazione
- FlashAttention
- Checkpointing usando SMP