Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
La documentation du conteneur Large Model Inference (LMI)
La documentation du conteneur Large Model Inference (LMI) est disponible sur le site de documentation
La documentation est destinée aux développeurs, aux scientifiques des données et aux ingénieurs en apprentissage automatique qui ont besoin de déployer et d'optimiser de grands modèles linguistiques (LLMs) sur Amazon SageMaker. Il vous aide à utiliser LMI des conteneurs, qui sont des conteneurs Docker spécialisés pour l'LLMinférence, fournis par. AWS Il fournit une vue d'ensemble, des guides de déploiement, des guides de l'utilisateur pour les bibliothèques d'inférence prises en charge et des didacticiels avancés.
En utilisant la documentation du LMI conteneur, vous pouvez :
-
Comprendre les composants et l'architecture des LMI conteneurs
-
Découvrez comment sélectionner le type d'instance et le backend adaptés à votre cas d'utilisation
-
Configuration et déploiement à LLMs l' SageMaker aide de LMI conteneurs
-
Optimisez les performances en utilisant des fonctionnalités telles que la quantification, le parallélisme des tenseurs et le traitement par lots continu
-
Comparez et ajustez vos SageMaker terminaux pour un débit et une latence optimaux
