View a markdown version of this page

Fine-tune Umarming Face LLMs mit LoRa auf Deadline Cloud - Deadline Cloud

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fine-tune Umarming Face LLMs mit LoRa auf Deadline Cloud

Das Auftragspaket hf_finetune_lora zur GitHub Feinabstimmung eines kausalen Sprachmodells von Hugging Face mit Low-Rank Adaptation (LoRa) oder Quantized Low-Rank Adaptation (QLorA) an einem benutzerdefinierten Befehlsdatensatz unter Verwendung der Bibliotheken Transformers, PEFT und bitsandbytes. Die Ausgabe ist ein kleiner LoRa-Adapter (ca. 50—200 MB), den Sie auf das Basismodell laden, um ihm einen Schreibstil, Fachkenntnisse, ein bestimmtes Ausgabeformat oder etwas proprietäres Wissen beizubringen.

Um dieses Paket ausführen zu können, benötigen Sie eine Deadline Cloud-Farm mit einer GPU-enabled Warteschlange (Linux-Flotte, NVIDIA-GPU mit 16 GB oder mehr Video-RAM (VRAM)) und einem Datensatz im JSONL-Format. Beim Senden werden alle Standardzüge für die im Paket enthaltenen Beispieldaten verwendet. Senden Sie den Job aus dem job_bundles Verzeichnis des Proben-Repositorys ab:

deadline bundle gui-submit hf_finetune_lora

Eine vollständige Anleitung zur Vorbereitung von Datensätzen, Berechtigungen für Warteschlangenrollen, Flottengröße und Testen des trainierten Adapters finden Sie unterFine-tune Umarmende Gesichts-LMs mit LoRa und QLora.