Fine-tune 在 Deadline Cloud 上使用 LoRa 拥抱 Face LLM

hf_finet GitHub une_lora 任务包使用转换器、PEFT 和 bitsandbytes 库在自定义指令数据集上微调带有 Low-Rank自适应 (LoRa) 或量化适 Low-Rank 应 (qLoRa) 的 Hugging Face 因果语言模型。输出是一个小型 LoRa 适配器（大约 50—200 MB），您可以将其加载到基本模型之上，以向其传授写作风格、领域专业知识、特定的输出格式或一些专有知识。

要运行这个捆绑包，你需要一个带有 GPU-enabled 队列（Linux 机群、具有 16 GB 或更多视频 RAM (VRAM) 的 NVIDIA GPU）和 JSONL 格式的数据集。使用捆绑包中包含的样本数据中的所有默认列车一起提交。从示例存储库的job_bundles目录中提交作业：

deadline bundle gui-submit hf_finetune_lora

有关涵盖数据集准备、队列角色权限、队列规模和测试经过训练的适配器的完整演练，请参阅Fine-tune 用 LoRa 和 qLoRa 拥抱脸部 LLM。