PERF02-BP06 Uso de aceleradores de computación optimizados basados en hardware
Use aceleradores de hardware para llevar a cabo ciertas funciones de manera más eficiente que con las alternativas basadas en CPU.
Patrones comunes de uso no recomendados:
-
En su carga de trabajo, no ha comparado una instancia de uso general con una instancia personalizada que pueda ofrecer mayor rendimiento y costos más reducidos.
-
Utiliza aceleradores de computación basados en hardware para tareas en las que pueda ser más eficiente utilizar alternativas basadas en CPU.
-
No supervisa el uso de GPU.
Beneficios de establecer esta práctica recomendada: al utilizar aceleradores basados en hardware, como unidades de procesamiento gráfico (GPU) y matrices de puertas programables en campo (FPGA), puede poner en marcha determinadas funciones de procesamiento de manera más eficiente.
Nivel de riesgo expuesto si no se establece esta práctica recomendada: medio
Guía para la implementación
Las instancias de computación acelerada proporcionan acceso a aceleradores de computación basados en hardware, como las GPU y las FPGA. Estos aceleradores de hardware llevan a cabo ciertas funciones, como el procesamiento gráfico o la concordancia de patrones de datos, de forma más eficiente que las alternativas basadas en CPU. Muchas cargas de trabajo aceleradas, como el renderizado, la transcodificación y el machine learning, son muy variables en cuanto al uso de recursos. Ejecute este hardware solo durante el tiempo que sea necesario y retírelo mediante automatización cuando no se requiera para mejorar la eficiencia del rendimiento general.
Pasos para la implementación
-
Identifique qué instancias de computación acelerada pueden satisfacer sus requisitos.
-
Para las cargas de trabajo de machine learning, utilice hardware personalizado específico para la carga de trabajo, como AWS Trainium
, AWS Inferentia y Amazon EC2 DL1 . AWS Las instancias de Inferentia, como las instancias Inf2, ofrecen hasta un 50 % más de rendimiento por vatio que las instancias de Amazon EC2 comparables . -
Recopile las métricas de uso de las instancias de computación acelerada. Por ejemplo, puede usar el agente de CloudWatch para recopilar métricas como
utilization_gpu
yutilization_memory
para sus GPU, como se muestra en Recopilación de métricas de GPU NVIDIA con Amazon CloudWatch. -
Optimice el código, el funcionamiento de la red y la configuración de los aceleradores de hardware para asegurarse de que se aprovecha al máximo el hardware subyacente.
-
Utilice las bibliotecas de alto rendimiento y los controladores de GPU más recientes.
-
Use la automatización para liberar instancias de GPU cuando no se estén usando.
Recursos
Documentos relacionados:
Videos relacionados:
-
AWS re:Invent 2021 - How to select Amazon Elastic Compute Cloud GPU instances for deep learning
-
AWS re:Invent 2022 - [NEW LAUNCH!] Introducing AWS Inferentia2-based Amazon EC2 Inf2 instances
-
AWS re:Invent 2022 - Accelerate deep learning and innovate faster with AWS Trainium
-
AWS re:Invent 2022 - Deep learning on AWS with NVIDIA: From training to deployment
Ejemplos relacionados: