Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
LoRa
LoRA(Low-Rank Adaptasi) secara efisien mengadaptasi model besar dengan melatih satu set kecil matriks dekomposisi peringkat rendah daripada semua bobot model. Bobot model dasar tetap beku — hanya bobot adaptor yang dipelajari.
Kapan menggunakan LoRa
Sebagian besar kasus penggunaan - LoRA mencapai kualitas mendekati FFT dengan biaya yang jauh lebih rendah
Anda menginginkan pelatihan yang lebih cepat dan pengeluaran komputasi yang lebih rendah
Anda perlu membuat rantai teknik menggunakan kustomisasi berkelanjutan (LoRAwajib)
Anda ingin artefak keluaran yang lebih kecil (hanya bobot adaptor)
Anda ingin melayani beberapa adaptor khusus tugas dari satu model dasar - adaptor yang tidak menyatu dapat ditukar pada waktu inferensi, sehingga satu model dasar dapat digunakan kembali dengan banyak adaptor yang disetel yang dipesan lebih dahulu
catatan
Meskipun artefak keluaran kecil (hanya bobot adaptor), adaptor masih memerlukan model dasar untuk inferensi. Kecuali Anda menggabungkan adaptor ke model dasar (lihat merge_weights di bawah), Anda harus memuat model dasar dan adaptor untuk menjalankan model yang disesuaikan.
Parameter Kunci
| Parameter | Nilai | Deskripsi |
|---|---|---|
lora_rank |
8, 16, 32, 64, 128 | Dimensi matriks peringkat rendah. Peringkat yang lebih tinggi = lebih banyak kapasitas tetapi lebih banyak komputasi. Mulailah dengan 16. |
lora_alpha |
16, 32, 64, 128, 256 | Faktor penskalaan. Skala tingkat pembelajaran yang efektif sebagaialpha/rank. Biasanya diatur ke 2x peringkat. |
lora_dropout |
0,0-1,0 | Probabilitas putus untuk lapisan LoRA adaptor. Membantu mencegah overfit. |
merge_weights |
benar, salah | Apakah akan menggabungkan bobot adaptor kembali ke model dasar setelah pelatihan. Setel ke true untuk penerapan tanpa overhead adaptor. |
Untuk referensi parameter lengkap termasuk hyper LoRA parameter spesifik, lihat setiap halaman teknik:SFT,,DPO. RFT
