Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Die umfangreiche Dokumentation zum Model-Inference (LMI) -Container
Die Dokumentation zum Container Large Model Inference (LMI) finden Sie auf der Dokumentationsseite
Die Dokumentation richtet sich an Entwickler, Datenwissenschaftler und Ingenieure für maschinelles Lernen, die umfangreiche Sprachmodelle (LLMs) auf Amazon bereitstellen und optimieren müssen SageMaker. Es hilft Ihnen bei der Verwendung von LMI Containern, bei denen es sich um spezialisierte Docker-Container für LLM Inferenzen handelt, die von bereitgestellt werden. AWS Es bietet einen Überblick, Bereitstellungsleitfäden, Benutzerhandbücher für unterstützte Inferenzbibliotheken und Tutorials für Fortgeschrittene.
Mithilfe der LMI Container-Dokumentation können Sie:
-
Die Komponenten und die Architektur von LMI Containern verstehen
-
Erfahren Sie, wie Sie den geeigneten Instanztyp und das passende Backend für Ihren Anwendungsfall auswählen
-
Konfiguration und Bereitstellung LLMs unter SageMaker Verwendung von Containern LMI
-
Optimieren Sie die Leistung mithilfe von Funktionen wie Quantisierung, Tensorparallelität und kontinuierlichem Batching
-
Messen und optimieren Sie Ihre SageMaker Endgeräte, um einen optimalen Durchsatz und eine optimale Latenz zu erzielen
