SageMaker libreria di parallelismo dei modelli v2

La libreria di parallelismo dei SageMaker modelli Amazon è una funzionalità SageMaker che consente un training ottimizzato su larga scala ad alte prestazioni e su larga scala su istanze di calcolo SageMaker accelerate. Caratteristiche principali della libreria di parallelismo dei SageMaker modelli v2Includono tecniche e ottimizzazioni per accelerare e semplificare l'addestramento di modelli di grandi dimensioni, come il parallelismo ibrido dei dati condivisi, il parallelismo tensoriale, il checkpoint di attivazione e l'offload di attivazione. È possibile utilizzare la libreria SMP per accelerare l'addestramento e la messa a punto di modelli linguistici di grandi dimensioni (LLM), modelli di visione di grandi dimensioni (LVM) e modelli di base (FM) con centinaia di miliardi di parametri.

La SageMaker model parallelism library v2 (SMP v2) allinea le API e i metodi della libreria con PyTorch Fully Sharded Data Parallelism (FSDP) open source, che offre il vantaggio delle ottimizzazioni delle prestazioni SMP con modifiche minime al codice. Con SMP v2, puoi migliorare le prestazioni computazionali dell'addestramento di un modello di grandi dimensioni utilizzando gli script di addestramento FSDP su. state-of-the-art SageMaker PyTorch SageMaker

È possibile utilizzare SMP v2 per i lavori di SageMaker formazione generali e i carichi di lavoro di formazione distribuiti sui cluster. SageMaker HyperPod