View a markdown version of this page

Fine-tune LLM Hugging Face dengan LoRa di Deadline Cloud - Awan Batas Waktu

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Fine-tune LLM Hugging Face dengan LoRa di Deadline Cloud

Bundel pekerjaan hf_finetune_lora menyem GitHub purnakan model bahasa kausal Hugging Face dengan Low-Rank Adaptation (LoRa) atau Quantized Low-Rank Adaptation (QLoRa) pada dataset instruksi khusus, menggunakan perpustakaan transformer, PEFT, dan bitsandbytes. Outputnya adalah adaptor LoRa kecil (sekitar 50—200 MB) yang Anda muat di atas model dasar untuk mengajarinya gaya penulisan, keahlian domain, format keluaran tertentu, atau beberapa pengetahuan eksklusif.

Untuk menjalankan bundel ini, Anda memerlukan farm Deadline Cloud dengan GPU-enabled antrian (armada Linux, GPU NVIDIA dengan 16 GB atau lebih RAM video (VRAM)) dan dataset dalam format JSONL. Mengirimkan dengan semua kereta default pada data sampel yang disertakan bundel. Dari job_bundles direktori repositori sampel, kirimkan pekerjaan:

deadline bundle gui-submit hf_finetune_lora

Untuk panduan lengkap yang mencakup persiapan dataset, izin peran antrian, ukuran armada, dan pengujian adaptor terlatih, lihatFine-tune LLM Memeluk Wajah dengan LoRa dan QLoRa.