Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Dokumentasi kontainer inferensi model besar (LMI)
Dokumentasi kontainer Large Model Inference (LMI) disediakan di situs dokumentasi
Dokumentasi ini ditulis untuk pengembang, ilmuwan data, dan insinyur pembelajaran mesin yang perlu menerapkan dan mengoptimalkan model bahasa besar (LLMs) di Amazon SageMaker. Ini membantu Anda menggunakan LMI wadah, yang merupakan wadah Docker khusus untuk LLM inferensi, yang disediakan oleh. AWS Ini memberikan gambaran umum, panduan penerapan, panduan pengguna untuk pustaka inferensi yang didukung, dan tutorial lanjutan.
Dengan menggunakan dokumentasi LMI kontainer, Anda dapat:
-
Memahami komponen dan arsitektur LMI wadah
-
Pelajari cara memilih jenis instans dan backend yang sesuai untuk kasus penggunaan Anda
-
Konfigurasikan dan terapkan LLMs saat SageMaker menggunakan kontainer LMI
-
Optimalkan kinerja dengan menggunakan fitur seperti kuantisasi, paralelisme tensor, dan batch kontinu
-
Benchmark dan sesuaikan SageMaker titik akhir Anda untuk throughput dan latensi yang optimal
