Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Optimización de inferencias de modelos con Amazon SageMaker

Con Amazon SageMaker, puede mejorar el rendimiento de sus modelos de IA generativa mediante la aplicación de técnicas de optimización de inferencias. Al optimizar sus modelos, puede lograr una mejor relación costo-rendimiento para su caso de uso. Al optimizar un modelo, se elige qué técnicas de optimización compatibles se van a aplicar, incluidas la cuantificación, la decodificación especulativa y la compilación. Una vez optimizado el modelo, puede realizar una evaluación para ver las métricas de rendimiento en cuanto a latencia, rendimiento y precio.

Para muchos modelos, SageMaker también ofrece varias versiones preoptimizadas, cada una de las cuales se adapta a las diferentes necesidades de latencia y rendimiento de las aplicaciones. Para estos modelos, puede implementar una de las versiones optimizadas sin tener que optimizar primero el modelo usted mismo.

Técnicas de optimización

Amazon SageMaker admite las siguientes técnicas de optimización.

Decodificación especulativa

La decodificación especulativa es una técnica para acelerar el proceso de decodificación de grandes dimensiones. LLMs Optimiza la latencia de los modelos sin comprometer la calidad del texto generado.

Esta técnica utiliza un modelo más pequeño pero más rápido denominado modelo borrador. El borrador del modelo genera fichas candidatas, que luego son validadas por el modelo objetivo, más grande pero más lento. En cada iteración, el borrador del modelo genera varios tokens candidatos. El modelo objetivo verifica los tokens y, si descubre que un token en particular no es aceptable, lo rechaza y lo regenera. Por lo tanto, el modelo objetivo verifica los tokens y genera una pequeña cantidad de ellos.

El modelo preliminar es significativamente más rápido que el modelo objetivo. Genera todos los tokens rápidamente y, a continuación, envía lotes de ellos al modelo objetivo para su verificación. El modelo objetivo los evalúa todos en paralelo, lo que acelera la respuesta final.

SageMaker ofrece un borrador de modelo prediseñado que puede utilizar, de modo que no tendrá que crear el suyo propio. Si prefiere utilizar su propio modelo de borrador personalizado, SageMaker también admite esta opción.

Cuantificación

La cuantificación es una técnica para reducir los requisitos de hardware de un modelo mediante el uso de un tipo de datos menos preciso para los pesos y las activaciones. Después de optimizar un modelo con la cuantificación, puede alojarlo en un modelo más económico y con mayor disponibilidad. GPUs Sin embargo, es posible que el modelo cuantificado sea menos preciso que el modelo de origen que optimizó.

SageMaker admite la cuantificación de peso basada en la activación () para. AWQ GPUs AWQes una técnica de cuantificación LLMs que es eficiente, precisa, con pocos bits y solo pesa.

Compilación

La compilación optimiza el modelo para obtener el mejor rendimiento disponible en el tipo de hardware elegido sin pérdida de precisión. Puede aplicar la compilación de modelos LLMs para optimizar el hardware acelerado, como AWS Trainium o Inferentia. AWS

Cuando optimiza un modelo mediante la compilación, se beneficia de la compilación. ahead-of-time Reduces el tiempo de implementación del modelo y la latencia de autoescalado porque los pesos del modelo no requieren just-in-time compilación cuando el modelo se implementa en una nueva instancia.

Referencia de métricas para las evaluaciones del rendimiento por inferencia

Tras evaluar correctamente el rendimiento de un modelo optimizado, la página de detalles de la evaluación de Studio muestra las siguientes métricas.

Métricas de latencia

La sección de latencia muestra las siguientes métricas

Métricas de rendimiento

La sección Rendimiento muestra las siguientes métricas.

Métricas de precios

La sección de precios muestra las siguientes métricas.

Referencia de modelos compatibles

En la siguiente tabla se muestran los modelos que SageMaker admiten la optimización de inferencias y las técnicas de optimización compatibles.

Modelos preoptimizados JumpStart

Los siguientes son los JumpStart modelos que tienen configuraciones preoptimizadas.

Modelos JumpStart precompilados

Para algunos modelos y configuraciones, SageMaker proporciona modelos precompilados para instancias específicas de AWS Inferentia y Trainium. AWS En este caso, si crea un trabajo de compilación u optimización y elige ml.inf2.48xlarge o ml.trn1.32xlarge como tipo de instancia de despliegue, obtiene los artefactos compilados. SageMaker Como el trabajo usa un modelo que ya está compilado, se completa rápidamente sin ejecutar la compilación desde cero.

Los JumpStart modelos para los que SageMaker tiene modelos precompilados son los siguientes: