Compilatore SageMaker di formazione Amazon - Amazon SageMaker
Che cos'è Training Compiler SageMaker ?Come funziona

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Compilatore SageMaker di formazione Amazon

Importante

Amazon Web Services (AWS) annuncia che non ci saranno nuove release o versioni di SageMaker Training Compiler. Puoi continuare a utilizzare SageMaker Training Compiler tramite gli esistenti AWS Deep Learning Containers (DLCs) for SageMaker Training. È importante notare che, sebbene gli esistenti DLCs rimangano accessibili, non riceveranno più patch o aggiornamenti da AWS, in conformità con la politica di supporto del AWS Deep Learning Containers Framework.

Usa Amazon SageMaker Training Compiler per addestrare modelli di deep learning (DL) più velocemente su GPU istanze scalabili gestite da. SageMaker

Che cos'è Training Compiler SageMaker ?

I modelli di tate-of-the-art deep learning (DL) sono costituiti da reti neurali complesse a più livelli con miliardi di parametri, il cui addestramento può richiedere migliaia di ore. GPU L'ottimizzazione di tali modelli sull'infrastruttura di addestramento richiede una conoscenza approfondita del DL e dell'ingegneria dei sistemi, il che risulta impegnativo anche per casi d'uso ristretti. Sebbene esistano implementazioni open source di compilatori che ottimizzano il processo di formazione DL, possono non avere la flessibilità necessaria per integrare i framework DL con alcuni hardware, come le istanze. GPU

SageMaker Training Compiler è una funzionalità SageMaker che effettua queste hard-to-implement ottimizzazioni per ridurre i tempi di addestramento sulle istanze. GPU Il compilatore ottimizza i modelli DL per accelerare l'addestramento utilizzando in modo più efficiente le istanze di SageMaker machine learning (ML). GPU SageMaker Training Compiler è disponibile all'interno senza costi aggiuntivi SageMaker e può aiutare a ridurre il tempo totale fatturabile in quanto accelera la formazione.

Un diagramma concettuale di come funziona Training Compiler SageMaker . SageMaker

SageMaker Training Compiler è integrato nei AWS Deep Learning Containers (DLCs). Utilizzando SageMaker Training Compiler AWS DLCs, puoi compilare e ottimizzare i lavori di formazione sulle GPU istanze con modifiche minime al codice. Integra i tuoi modelli di deep learning SageMaker e consenti a SageMaker Training Compiler di accelerare la velocità del tuo processo di formazione sulle SageMaker istanze di machine learning per l'elaborazione accelerata.

Come funziona

SageMaker Training Compiler converte i modelli DL dalla loro rappresentazione linguistica di alto livello a istruzioni ottimizzate per l'hardware. In particolare, SageMaker Training Compiler applica ottimizzazioni a livello di grafico, ottimizzazioni a livello di flusso di dati e ottimizzazioni di backend per produrre un modello ottimizzato che utilizzi in modo efficiente le risorse hardware. Di conseguenza, è possibile addestrare i modelli più velocemente rispetto a quando lo si fa senza compilazione.

L'attivazione di Training Compiler per il tuo lavoro di formazione prevede due fasi: SageMaker

  1. Porta il tuo script DL e, se necessario, adattalo alla compilazione e all'addestramento con SageMaker Training Compiler. Per ulteriori informazioni, consulta Portare il proprio modello di deep learning.

  2. Crea un oggetto SageMaker estimatore con il parametro di configurazione del compilatore usando Python SageMaker . SDK

    1. Attiva SageMaker Training Compiler aggiungendolo compiler_config=TrainingCompilerConfig() alla classe estimator. SageMaker

    2. Modifica gli iperparametri (batch_sizeelearning_rate) per massimizzare i vantaggi offerti da Training Compiler. SageMaker

      La compilazione tramite SageMaker Training Compiler modifica l'impronta di memoria del modello. Più comunemente, ciò si manifesta come una riduzione dell'utilizzo della memoria e un conseguente aumento della dimensione del batch più grande che può contenere. GPU In alcuni casi, il compilatore promuove in modo intelligente la memorizzazione nella cache, il che porta a una riduzione della dimensione del batch più grande che può contenere. GPU Tenere presente che, se si desidera modificare le dimensioni del batch, è necessario regolare il tasso di apprendimento in modo appropriato.

      Per un riferimento ai modelli batch_size testati per i modelli più diffusi, vedereModelli testati.

      Quando si modificano le dimensioni del batch è necessario modificare anche il learning_rate in modo appropriato. Per le migliori pratiche per regolare il tasso di addestramento insieme alla modifica delle dimensioni del batch, consultare SageMaker Buone pratiche e considerazioni su Training Compiler.

    3. Eseguendo il metodo della estimator.fit() classe, SageMaker compila il modello e avvia il processo di formazione.

    Per istruzioni sull'avvio di un processo di addestramento, consultare Abilita SageMaker Training Compiler.

SageMaker Training Compiler non altera il modello finale addestrato, ma consente al contempo di accelerare il processo di formazione utilizzando in modo più efficiente la GPU memoria e adattando un batch di dimensioni maggiori per iterazione. Il modello finale addestrato dal processo di addestramento accelerato dal compilatore è identico a quello del normale processo di addestramento.

Suggerimento

SageMaker Training Compiler compila solo modelli DL per l'addestramento su istanze supportate GPU gestite da. SageMaker Per compilare il tuo modello per l'inferenza e distribuirlo per eseguirlo ovunque nel cloud e all'edge, usa il compilatore Neo. SageMaker

Argomenti