翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

継続的なカスタマイズ

継続的なカスタマイズでは、別の手法で、または新しいデータで同じ手法で、追加のトレーニングを適用することで、以前にカスタマイズしたモデルに基づいて構築できます。たとえば、SFT から始めてドメインの知識を学習し、DPO を適用してユーザー設定に合わせ、RLVR を適用して事実の精度を向上させます。

仕組み

サポートされている手法の移行

次の表は、継続的なカスタマイズでサポートされているすべての組み合わせを示しています。

継続的なカスタマイズとトレーニングの再開

開始方法

継続的なカスタマイズは Python SDK を通じて利用できます。前のトレーニングジョブの出力パスを次の手法resume_from_pathの として指定します。

from sagemaker.modules.train import DPOTrainer

# Continue from a previous SFT job with DPO
trainer = DPOTrainer(
    model_id="meta-textgeneration-llama-3-1-8b-instruct",
    train_data="s3://my-bucket/dpo-preferences.jsonl",
    resume_from_path="s3://my-bucket/previous-sft-output/",
    hyperparameters={
        "max_epochs": 2,
        "learning_rate": 1e-5,
        "lora_rank": 16,
    }
)
trainer.train()

ワークフローの例