Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Addestramento
Grazie al training a precisione mista puoi distribuire reti più grandi con la stessa quantità di memoria o ridurre l'utilizzo della memoria rispetto alla rete a precisione singola o doppia, registrando al contempo un incremento delle prestazioni di calcolo. Hai anche il vantaggio di trasferimenti dati più piccoli e rapidi, un fattore importante nel training distribuito a più nodi. Per sfruttare il training a precisione mista occorre regolare casting dei dati e perdita di scaling. Le guide seguenti descrivono come eseguire questa operazione per i framework che supportano la precisione mista.
-
NVIDIA Deep Learning SDK
: documenti sul sito Web di NVIDIA che descrivono l'implementazione a precisione mista per, e. MXNet PyTorch TensorFlow
Suggerimento
Assicurati di controllare il sito Web per il framework scelto e cerca "mixed precision" o "fp16" per le tecniche di ottimizzazione più recenti. Di seguito sono elencate alcune guide a precisione mista che possono essere utili:
-
Formazione a precisione mista con TensorFlow (
video) - sul sito del blog NVIDIA. -
Allenamento a precisione mista con float16 con MXNet
- un articolo di domande frequenti sul sito Web. MXNet -
NVIDIA Apex: uno strumento per un facile allenamento a precisione mista con PyTorch
- un articolo di blog sul sito Web di NVIDIA.
Questi altri argomenti sul monitoraggio e l'ottimizzazione GPU potrebbero essere interessanti:
