Compilatore SageMaker di formazione Amazon - Amazon SageMaker AI
Che cos'è Training Compiler? SageMaker Come funziona

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Compilatore SageMaker di formazione Amazon

Importante

Amazon Web Services (AWS) annuncia che non ci saranno nuove release o versioni di SageMaker Training Compiler. Puoi continuare a utilizzare SageMaker Training Compiler tramite gli esistenti AWS Deep Learning Containers (DLCs) for SageMaker Training. È importante notare che, sebbene gli esistenti DLCs rimangano accessibili, non riceveranno più patch o aggiornamenti da AWS, in conformità con la politica di supporto del AWS Deep Learning Containers Framework.

Usa Amazon SageMaker Training Compiler per addestrare modelli di deep learning (DL) più velocemente su istanze GPU scalabili gestite dall'intelligenza artificiale. SageMaker

Che cos'è Training Compiler? SageMaker

State-of-the-art I modelli di deep learning (DL) sono costituiti da reti neurali complesse a più livelli con miliardi di parametri che possono richiedere migliaia di ore di formazione da parte della GPU. L'ottimizzazione di tali modelli sull'infrastruttura di addestramento richiede una conoscenza approfondita del DL e dell'ingegneria dei sistemi, il che risulta impegnativo anche per casi d'uso ristretti. Sebbene esistano implementazioni open source di compilatori che ottimizzano il processo di addestramento DL, questi potrebbero non avere la flessibilità necessaria per integrare i framework DL con alcuni hardware, come le istanze della GPU.

SageMaker Training Compiler è una funzionalità dell' SageMaker intelligenza artificiale che effettua queste hard-to-implement ottimizzazioni per ridurre i tempi di addestramento sulle istanze GPU. Il compilatore ottimizza i modelli DL per accelerare l'addestramento utilizzando in modo più efficiente le istanze GPU di SageMaker intelligenza artificiale (ML). SageMaker Training Compiler è disponibile senza costi aggiuntivi all'interno di SageMaker AI e può aiutare a ridurre il tempo totale fatturabile in quanto accelera la formazione.

Un diagramma concettuale di come SageMaker Training Compiler funziona con l'IA. SageMaker

SageMaker Training Compiler è integrato nei AWS Deep Learning Containers (DLCs). Utilizzando SageMaker Training Compiler AWS DLCs, puoi compilare e ottimizzare i lavori di formazione su istanze GPU con modifiche minime al codice. Porta i tuoi modelli di deep learning all' SageMaker intelligenza artificiale e consenti a SageMaker Training Compiler di accelerare la velocità del tuo processo di formazione sulle SageMaker istanze AI ML per un calcolo accelerato.

Come funziona

SageMaker Training Compiler converte i modelli DL dalla loro rappresentazione linguistica di alto livello a istruzioni ottimizzate per l'hardware. In particolare, SageMaker Training Compiler applica ottimizzazioni a livello di grafico, ottimizzazioni a livello di flusso di dati e ottimizzazioni di backend per produrre un modello ottimizzato che utilizzi in modo efficiente le risorse hardware. Di conseguenza, è possibile addestrare i modelli più velocemente rispetto a quando lo si fa senza compilazione.

L'attivazione di Training Compiler per il tuo lavoro di formazione prevede due fasi: SageMaker

  1. Porta il tuo script DL e, se necessario, adattalo alla compilazione e all'addestramento con SageMaker Training Compiler. Per ulteriori informazioni, consulta Portare il proprio modello di deep learning.

  2. Crea un oggetto di stima SageMaker AI con il parametro di configurazione del compilatore utilizzando Python SageMaker SDK.

    1. Attiva SageMaker Training Compiler aggiungendolo alla classe compiler_config=TrainingCompilerConfig() AI estimator. SageMaker

    2. Modifica gli iperparametri (batch_sizeelearning_rate) per massimizzare i vantaggi offerti da Training Compiler. SageMaker

      La compilazione tramite SageMaker Training Compiler modifica l'impronta di memoria del modello. Più comunemente, ciò si manifesta come una riduzione dell'utilizzo della memoria e un conseguente aumento delle dimensioni del batch più grande che può essere contenuto dalla GPU. In alcuni casi, il compilatore promuove in modo intelligente la memorizzazione nella cache, il che porta a una riduzione della dimensione del batch più grande che può essere contenuto dalla GPU. Tenere presente che, se si desidera modificare le dimensioni del batch, è necessario regolare il tasso di apprendimento in modo appropriato.

      Per un riferimento ai modelli batch_size testati per i modelli più diffusi, vedereModelli testati.

      Quando si modificano le dimensioni del batch è necessario modificare anche il learning_rate in modo appropriato. Per le migliori pratiche per regolare il tasso di addestramento insieme alla modifica delle dimensioni del batch, consultare SageMaker Buone pratiche e considerazioni su Training Compiler.

    3. Eseguendo il metodo della estimator.fit() classe, l' SageMaker IA compila il modello e avvia il processo di formazione.

    Per istruzioni sull'avvio di un processo di addestramento, consultare Abilita SageMaker Training Compiler.

SageMaker Training Compiler non altera il modello finale addestrato, ma consente al contempo di accelerare il processo di formazione utilizzando in modo più efficiente la memoria della GPU e adattando batch di dimensioni maggiori per iterazione. Il modello finale addestrato dal processo di addestramento accelerato dal compilatore è identico a quello del normale processo di addestramento.

Suggerimento

SageMaker Training Compiler compila modelli DL solo per l'addestramento su istanze GPU supportate gestite dall'IA. SageMaker Per compilare il tuo modello per l'inferenza e distribuirlo per eseguirlo ovunque nel cloud e all'edge, usa il compilatore Neo. SageMaker

Argomenti