Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
La documentación del contenedor de inferencia de modelos grandes (LMI)
La documentación del contenedor Large Model Inference (LMI) se encuentra en el sitio de documentación
La documentación está dirigida a desarrolladores, científicos de datos e ingenieros de aprendizaje automático que necesitan implementar y optimizar modelos de lenguaje de gran tamaño (LLMs) en Amazon SageMaker. Le ayuda a utilizar LMI contenedores, que son contenedores Docker especializados para realizar LLM inferencias, proporcionados por. AWS Proporciona una descripción general, guías de implementación, guías de usuario para las bibliotecas de inferencia compatibles y tutoriales avanzados.
Al utilizar la documentación del LMI contenedor, puede:
-
Comprenda los componentes y la arquitectura de los LMI contenedores
-
Aprenda a seleccionar el tipo de instancia y el backend adecuados para su caso de uso
-
Configure e implemente LLMs SageMaker mediante contenedores LMI
-
Optimice el rendimiento mediante funciones como la cuantificación, el paralelismo tensorial y el procesamiento continuo por lotes
-
Evalúe y ajuste sus SageMaker puntos finales para obtener un rendimiento y una latencia óptimos
