Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Formación
El entrenamiento de precisión mixta permite implementar redes de mayor tamaño con la misma cantidad de memoria, o reducir el uso de esta en comparación con las redes de precisión única o doble, lo que se traduce en un aumento del rendimiento informático. También ofrece el beneficio de transferencias de datos más pequeñas y rápidas, un factor importante en el entrenamiento distribuido con varios nodos. Para utilizar el entrenamiento de precisión mixta es necesario ajustar el envío de datos y el escalado de pérdidas. Las siguientes guías describen cómo realizar esta operación en los marcos de trabajo compatibles con la precisión mixta.
-
NVIDIAAprendizaje profundo SDK
: documentos en el NVIDIA sitio web que describen la implementación de precisión mixta para MXNet PyTorch, y. TensorFlow
sugerencia
Asegúrese de consultar el sitio web de su marco de trabajo preferido y busque "mixed precision" o "fp16" para conocer las técnicas de optimización más recientes. A continuación se muestran algunas guías de precisión mixta que pueden resultarle de utilidad:
-
Capacitación de precisión mixta con TensorFlow (vídeo)
: en el sitio del blog. NVIDIA -
Entrenamiento de precisión mixta con float16 con MXNet
: un artículo en el sitio web. FAQ MXNet -
NVIDIAApex: una herramienta para un entrenamiento sencillo de precisión mixta con PyTorch
un artículo de blog en el sitio web. NVIDIA
Es posible que le interesen estos otros temas sobre GPU supervisión y optimización:
