Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Addestramento
Grazie al training a precisione mista puoi distribuire reti più grandi con la stessa quantità di memoria o ridurre l'utilizzo della memoria rispetto alla rete a precisione singola o doppia, registrando al contempo un incremento delle prestazioni di calcolo. Hai anche il vantaggio di trasferimenti dati più piccoli e rapidi, un fattore importante nel training distribuito a più nodi. Per sfruttare il training a precisione mista occorre regolare casting dei dati e perdita di scaling. Le guide seguenti descrivono come eseguire questa operazione per i framework che supportano la precisione mista.
-
SDK NVIDIA Deep Learning
- documenti sul sito Web di NVIDIA che descrivono l'implementazione a precisione mista per MXNet, PyTorch, e TensorFlow.
Assicurati di controllare il sito Web per il framework scelto e cerca "mixed precision" o "fp16" per le tecniche di ottimizzazione più recenti. Di seguito sono elencate alcune guide a precisione mista che possono essere utili:
-
Mixed-precision allenamento con TensorFlow (video)
- sul sito del blog di NVIDIA. -
Mixed-precision formazione utilizzando float16 con MXNet
- un articolo sulle domande frequenti sul sito web di MXNet. -
NVIDIA Apex: uno strumento per un facile addestramento a precisione mista con PyTorch
- un articolo di blog sul sito Web di NVIDIA.
Questi altri argomenti sul monitoraggio e l'ottimizzazione GPU potrebbero essere interessanti: