Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kontinuierliche Anpassung

Bei der kontinuierlichen Anpassung können Sie auf einem zuvor angepassten Modell aufbauen, indem Sie zusätzliche Schulungen durchführen — entweder mit einer anderen Technik oder mit derselben Technik mit neuen Daten. Beginnen Sie beispielsweise mit SFT, um Fachwissen zu vermitteln, wenden Sie dann DPO an, um es an den Benutzerpräferenzen auszurichten, und wenden Sie dann RLVR an, um die sachliche Genauigkeit zu verbessern.

Funktionsweise

Unterstützte Technikübergänge

Die folgende Tabelle zeigt alle unterstützten Kombinationen für die kontinuierliche Anpassung:

Kontinuierliche Anpassung im Vergleich zur Wiederaufnahme des Trainings

Erste Schritte

Kontinuierliche Anpassungen sind über das Python SDK möglich. Geben Sie den Ausgabepfad eines vorherigen Trainingsjobs als den resume_from_path für die nächste Technik an.

from sagemaker.modules.train import DPOTrainer

# Continue from a previous SFT job with DPO
trainer = DPOTrainer(
    model_id="meta-textgeneration-llama-3-1-8b-instruct",
    train_data="s3://my-bucket/dpo-preferences.jsonl",
    resume_from_path="s3://my-bucket/previous-sft-output/",
    hyperparameters={
        "max_epochs": 2,
        "learning_rate": 1e-5,
        "lora_rank": 16,
    }
)
trainer.train()

Beispiel-Workflows