Mempersiapkan data untuk RFT di Amazon Nova 2

RFT di Amazon Nova 2 saat ini mendukung data pelatihan berbasis teks. Halaman ini menjelaskan format data, fitur yang didukung, batasan, dan praktik terbaik untuk menyiapkan data pelatihan RFT untuk model Amazon Nova 2 Understanding.

Format data

Data pelatihan RFT mengikuti format Penguatan OpenAI. Fine-Tuning https://developers.openai.com/api/docs/guides/reinforcement-fine-tuning#prepare-your-dataset Setiap baris dalam file pelatihan JSONL Anda adalah objek JSON dengan bidang tingkat atas berikut. Perluas bagian untuk mempelajari lebih lanjut:

"messages": [
    {
        "role": "system",
        "content": "instructions"
    },
    {
        "role": "user",
        "content": "prompt"
    }
]

"reference_answer": {
    "field": "value"
}

"tools": [
    {
        "type": "function",
        "function": {
            "name": "tool-name",
            "description": "tool-description",
            "parameters": { ... }
        }
    }
]

Memvalidasi data Anda

Sebelum mengirimkan pekerjaan pelatihan Anda, validasi dataset Anda untuk menangkap masalah pemformatan lebih awal. Untuk alat validasi yang tersedia, lihatAlat validasi.

Sampel masukan

Berikut ini adalah contoh lengkap objek JSON yang menunjukkan cara menggabungkan bidang untuk kasus penggunaan RFT yang berbeda.

Fitur yang didukung

Tabel berikut merangkum dukungan fitur untuk RFT di Amazon Nova 2.

General/Text pengertian

Bagian ini merangkum kendala umum dan praktik terbaik untuk menyiapkan data pelatihan RFT di Amazon Nova 2.

Batasan

Praktik terbaik

Sampel masukan

{
    "id": "math-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a math tutor"
        },
        {
            "role": "user",
            "content": "Solve: 2x + 5 = 13"
        }
    ],
    "reference_answer": {
        "solution": "x = 4",
        "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
    }
}

Panggilan alat

RFT mendukung model pelatihan tentang pola pemanggilan alat, memungkinkan model Anda mempelajari kapan dan bagaimana memanggil alat atau fungsi eksternal.

Batasan

Praktik terbaik

Sampel masukan

{
    "id": "tool-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful game master assistant"
        },
        {
            "role": "user",
            "content": "Generate a strength stat for a warrior character. Apply a +2 racial bonus modifier."
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": "StatRollAPI",
                "description": "Generates character stats by rolling 4d6, dropping the lowest die result, and applying a modifier.",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "modifier": {
                            "description": "An integer representing the modifier to apply to the total of the stat roll.",
                            "type": "integer"
                        }
                    },
                    "required": ["modifier"]
                }
            }
        }
    ],
    "reference_answer": {
        "tool_called": "StatRollAPI",
        "tool_parameters": {
            "modifier": 2
        },
        "expected_behavior": "Call StatRollAPI with modifier=2 and return the calculated stat value"
    }
}

Penalaran

RFT di Amazon Nova 2 mendukung mode penalaran, di mana model menghasilkan token pemikiran eksplisit sebelum menghasilkan jawaban akhir. Anda mengontrol perilaku penalaran selama reasoning_effort pelatihan dengan bidang konfigurasi pelatihan.

Batasan

Kapan menggunakan setiap mode

Gunakan high alasan untuk:

Gunakan none (hilangkanreasoning_effort) atau alasan low untuk:

Pengorbanan biaya dan kinerja

Mode penalaran yang lebih tinggi meningkat:

Karakteristik data pelatihan yang efektif

Kejelasan dan konsistensi

Contoh RFT yang baik memerlukan data input yang jelas dan tidak ambigu yang memungkinkan perhitungan hadiah yang akurat di seluruh keluaran model yang berbeda. Hindari kebisingan dalam data Anda, termasuk:

Setiap ambiguitas akan menyesatkan proses pelatihan dan menyebabkan model mempelajari perilaku yang tidak diinginkan.

Keanekaragaman

Dataset Anda harus menangkap keragaman penuh kasus penggunaan produksi untuk memastikan kinerja dunia nyata yang kuat. Termasuk:

Pertimbangan fungsi hadiah

Rancang fungsi hadiah Anda untuk pelatihan yang efisien:

Fungsi hadiah yang cepat dan dapat diskalakan memungkinkan iterasi cepat dan eksperimen hemat biaya.

Pelatihan RFT menggunakan LLM sebagai hakim

Gambaran umum

Model bahasa besar (LLM) semakin banyak digunakan sebagai juri dalam alur kerja penguatan fine tuning (RFT), memberikan sinyal hadiah otomatis yang memandu pengoptimalan model. Dalam pendekatan ini, LLM mengevaluasi keluaran model terhadap kriteria yang ditentukan — apakah menilai kebenaran, kualitas, kepatuhan gaya, atau kesetaraan semantik — dan memberikan penghargaan yang mendorong proses pembelajaran penguatan.

Ini sangat berharga untuk tugas-tugas di mana fungsi penghargaan tradisional sulit untuk didefinisikan secara terprogram, seperti menentukan apakah representasi yang berbeda (seperti "1/3“, “0,333", dan “sepertiga”) setara secara semantik, atau mengevaluasi kualitas bernuansa seperti koherensi dan relevansi. Dengan menggunakan j LLM-based uri sebagai fungsi hadiah, Anda dapat menskalakan RFT ke domain kompleks tanpa memerlukan anotasi manusia yang ekstensif, memungkinkan iterasi cepat dan peningkatan berkelanjutan model Anda di berbagai kasus penggunaan di luar masalah penyelarasan tradisional.

Memvalidasi hakim LLM Anda

Sebelum menerapkan LLM-as-a-judge dalam produksi, validasi bahwa evaluasi model hakim selaras dengan penilaian manusia. Ini melibatkan:

Langkah validasi ini membantu memastikan proses evaluasi otomatis akan menghasilkan model yang memenuhi kriteria kualitas produksi Anda.

Konfigurasi lambda untuk hakim LLM

Menggunakan LLM sebagai juri adalah perpanjangan dari penggunaan fungsi Lambda untuk Pembelajaran Penguatan dengan Hadiah Verifikasi (RLVR). Di dalam fungsi Lambda, Anda melakukan panggilan ke salah satu model yang dihosting di Amazon Bedrock.

Persyaratan konfigurasi penting: