Fine-tune Nova 1.0

Prasyarat

Sebelum Anda memulai pekerjaan pelatihan, perhatikan hal berikut.

Persiapan data

Mempersiapkan data berkualitas tinggi dan diformat dengan benar adalah langkah pertama yang penting dalam proses penyempurnaan untuk model bahasa besar. Baik Anda menggunakan fine tuning (SFT) atau Direct Preference Optimization (DPO), baik dengan pendekatan adaptasi peringkat penuh atau peringkat rendah (LoRa), data Anda harus mematuhi persyaratan format tertentu untuk memastikan pelatihan model yang berhasil. Bagian ini menguraikan format data, metode validasi, dan praktik terbaik yang diperlukan untuk membantu Anda menyiapkan kumpulan data secara efektif untuk menyempurnakan model Amazon Nova.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [
        {
            "text": "..."
        }
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [
        {
            "text": "..."
        }
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects.
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects.
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Full-rank Konfigurasi SFT dan LoRa PEFT

Bagian ini mencakup panduan tentang konfigurasi resep untuk pendekatan penyempurnaan yang diawasi peringkat penuh (SFT) dan pendekatan penyetelan hemat parameter adaptasi peringkat rendah (LoRa PEFT). File resep ini berfungsi sebagai cetak biru untuk pekerjaan kustomisasi model Anda, memungkinkan Anda menentukan parameter pelatihan, hyperparameter, dan pengaturan penting lainnya yang menentukan bagaimana model Anda belajar dari data Anda. Untuk menyesuaikan hyperparameter, ikuti panduan dalam Mem ilih hyper parameter.

Fine-tuning konfigurasi (Full-rank SFT dan LoRa PEFT)

Satu-satunya perbedaan antara SFT peringkat penuh dan LoRa PEFT dalam hal resep adalah konfigurasi LoRa PEFT, yang diatur ke 'null' untuk peringkat penuh dan diatur ke nilai yang sesuai jika menggunakan penyetelan LoRa. PEFT-based Contoh resep tersedia di GitHub repositori SageMaker HyperPod resep. Tabel berikut menunjukkan konfigurasi terperinci yang mungkin berguna bagi Anda.

Tentang konfigurasi “jalankan”.

Tentang konfigurasi “training_config”.

Fine-tuning konfigurasi khusus (DPO)

Satu-satunya perbedaan antara Direct Preference Optimization (DPO) dibandingkan dengan LoRa PEFT dan FullRank SFT adalah dalam hal konfigurasi dpo_cfg dan nilai yang diizinkan. Lihat tabel di bawah contoh yang diizinkan khusus untuk DPO. Contoh resep tersedia di GitHub repositori SageMaker HyperPod resep. Tabel berikut menunjukkan konfigurasi terperinci yang mungkin berguna bagi Anda.

Menjalankan model Nova yang disesuaikan pada SageMaker Pekerjaan Pelatihan

Bagian ini menunjukkan cara menjalankan model Nova yang disesuaikan pada Pekerjaan Pel SageMaker atihan melalui lingkungan notebook Jupyter. Anda akan menemukan contoh lengkap yang berjalan melalui proses mengonfigurasi dan meluncurkan pekerjaan pelatihan, bersama dengan tabel referensi untuk memilih URI gambar kontainer yang sesuai dan konfigurasi instance. Pendekatan ini memberi Anda kontrol terprogram atas alur kerja penyempurnaan Anda sambil memanfaatkan infrastruktur terkelola SageMaker AI untuk penyesuaian model. Untuk informasi selengkapnya, lihat Menggunakan estimator SageMaker AI untuk menjalankan pekerjaan pelatihan.

Tabel referensi

Sebelum menjalankan contoh notebook, lihat tabel berikut untuk memilih URI gambar wadah yang sesuai dan konfigurasi instance.

Memilih URI gambar

Memilih jenis dan jumlah instance

Contoh notebook

Contoh notebook berikut menunjukkan cara menjalankan pekerjaan pelatihan. Untuk buku catatan tambahan tentang cara menyesuaikan model Nova menggunakan Pekerjaan SageMaker Pelatihan, lihat Menggunakan estimator SageMaker AI untuk menjalankan pekerjaan pelatihan.

# 1. Install dependencies

!pip install sagemaker==2.254.1

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"
output_kms_key = "<KMS key arn to encrypt trained model in Amazon-owned S3 bucket>" # optional, leave blank for Amazon managed encryption

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,
    debugger_hook_config=False,
    output_kms_key=output_kms_key
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

Panduan optimasi hyperparameter

Fine-tuning model Nova LLM Anda secara efektif membutuhkan pemilihan hyperparameter yang cermat. Meskipun bagian ini menjelaskan struktur resep dasar dan komponen, mengoptimalkan hyperparameter untuk kasus penggunaan spesifik Anda seringkali memerlukan panduan tambahan. Untuk rekomendasi komprehensif tentang pemilihan hyperparameter, praktik terbaik, dan strategi pengoptimalan, lihat Mem ilih hyper parameter. Sumber daya ini memberikan panduan terperinci tentang memilih tingkat pembelajaran yang sesuai, ukuran batch, zaman pelatihan, dan parameter penting lainnya berdasarkan karakteristik kumpulan data dan tujuan pelatihan Anda. Sebaiknya konsultasikan panduan ini saat menyempurnakan konfigurasi resep Anda untuk mencapai kinerja model yang optimal.

Untuk detail tentang nilai minimum, maksimum, dan default untuk zaman, tingkat pembelajaran, dan langkah-langkah pemanasan pembelajaran, lihat Hyperparameter untuk Memahami model.

Modifikasi resep umum

Berikut adalah beberapa penyesuaian resep umum berdasarkan kasus penggunaan tertentu: