Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Documentación del contenedor de inferencia de modelos grandes (LMI)
La documentación sobre Large Model Inference (LMI) container
La documentación está dirigida a desarrolladores, científicos de datos e ingenieros de aprendizaje automático que necesitan implementar y optimizar modelos de lenguaje de gran tamaño (LLMs) en Amazon SageMaker AI. Le ayuda a utilizar los contenedores LMI, que son contenedores Docker especializados para la inferencia LLM, proporcionados por. AWS Proporciona información general, guías de implementación y guías de usuario para las bibliotecas de inferencias compatibles, así como tutoriales avanzados.
Al utilizar la documentación del contenedor de LMI, podrá:
-
Comprender los componentes y la arquitectura de los contenedores de LMI.
-
Aprender a seleccionar el tipo de instancia y el backend adecuados para su caso de uso.
-
Configure e implemente LLMs en SageMaker IA mediante contenedores LMI
-
Optimizar el rendimiento mediante características como la cuantificación, el paralelismo de tensores y el procesamiento continuo por lotes.
-
Evalúe y ajuste sus puntos finales de SageMaker IA para obtener un rendimiento y una latencia óptimos
