Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Dokumentasi wadah inferensi model besar (LMI)
Dokumentasi kontainer Large Model Inference (LMI) disediakan di situs dokumentasi
Dokumentasi ini ditulis untuk pengembang, ilmuwan data, dan insinyur pembelajaran mesin yang perlu menerapkan dan mengoptimalkan model bahasa besar (LLMs) di Amazon SageMaker AI. Ini membantu Anda menggunakan wadah LMI, yang merupakan wadah Docker khusus untuk inferensi LLM, yang disediakan oleh. AWS Ini memberikan gambaran umum, panduan penerapan, panduan pengguna untuk pustaka inferensi yang didukung, dan tutorial lanjutan.
Dengan menggunakan dokumentasi kontainer LMI, Anda dapat:
-
Memahami komponen dan arsitektur wadah LMI
-
Pelajari cara memilih jenis instans dan backend yang sesuai untuk kasus penggunaan
-
Konfigurasikan dan terapkan LLMs pada SageMaker AI menggunakan kontainer LMI
-
Optimalkan kinerja dengan menggunakan fitur seperti kuantisasi, paralelisme tensor, dan batch kontinu
-
Benchmark dan sesuaikan titik akhir SageMaker AI Anda untuk throughput dan latensi yang optimal
