Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
La documentazione del contenitore Large Model Inference (LMI)
La documentazione del contenitore Large Model Inference (LMI) è disponibile nel sito di documentazione
La documentazione è scritta per sviluppatori, data scientist e ingegneri di machine learning che devono implementare e ottimizzare modelli linguistici di grandi dimensioni (LLMs) su Amazon SageMaker AI. Ti aiuta a utilizzare i contenitori LMI, che sono contenitori Docker specializzati per l'inferenza LLM, forniti da. AWS Fornisce una panoramica, guide all'implementazione, guide utente per le librerie di inferenza supportate e tutorial avanzati.
Utilizzando la documentazione del contenitore LMI, è possibile:
-
Comprendi i componenti e l'architettura dei contenitori LMI
-
Scopri come selezionare il tipo di istanza e il backend appropriati per il tuo caso d'uso
-
Configura e implementa LLMs sull' SageMaker intelligenza artificiale utilizzando contenitori LMI
-
Ottimizza le prestazioni utilizzando funzionalità come la quantizzazione, il parallelismo tensoriale e il batching continuo
-
Esegui il benchmark e ottimizza i tuoi SageMaker endpoint di intelligenza artificiale per un throughput e una latenza ottimali
