Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
La documentazione del contenitore large model inference (LMI)
La documentazione del contenitore Large Model Inference (LMI) è disponibile sul sito di documentazione
La documentazione è scritta per sviluppatori, data scientist e ingegneri di machine learning che devono implementare e ottimizzare modelli linguistici di grandi dimensioni (LLMs) su Amazon SageMaker. Ti aiuta a utilizzare LMI i container, che sono contenitori Docker specializzati per l'LLMinferenza, forniti da. AWS Fornisce una panoramica, guide all'implementazione, guide utente per le librerie di inferenza supportate e tutorial avanzati.
Utilizzando la documentazione del LMI contenitore, puoi:
-
Comprendere i componenti e l'architettura dei LMI contenitori
-
Scopri come selezionare il tipo di istanza e il backend appropriati per il tuo caso d'uso
-
Configura e distribuisci utilizzando LLMs contenitori SageMaker LMI
-
Ottimizza le prestazioni utilizzando funzionalità come la quantizzazione, il parallelismo tensoriale e il batching continuo
-
Effettua il benchmark e ottimizza i tuoi endpoint per una velocità di trasmissione e una latenza ottimali SageMaker
