View a markdown version of this page

Menyiapkan fungsi hadiah untuk model Amazon Nova - Amazon Bedrock
Pembelajaran Penguatan melalui Hadiah yang Dapat Diverifikasi (RLVR)Pembelajaran Penguatan melalui Umpan Balik AI (RLAIF)Rincian implementasi fungsi lambda

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyiapkan fungsi hadiah untuk model Amazon Nova

Fungsi hadiah mengevaluasi kualitas respons dan memberikan sinyal umpan balik untuk pelatihan model. Anda dapat mengatur fungsi hadiah menggunakan fungsi Lambda khusus atau model Bedrock-hosted dasar Amazon sebagai juri. Template terpandu tersedia untuk menyederhanakan pembuatan fungsi hadiah untuk tugas-tugas umum seperti mengikuti instruksi dan validasi format. Pilih pendekatan yang sesuai dengan persyaratan tugas Anda.

Pembelajaran Penguatan melalui Hadiah yang Dapat Diverifikasi (RLVR)

RLVR mengoptimalkan model untuk tugas-tugas objektif seperti pembuatan kode atau penalaran matematika menggunakan penilai berbasis aturan yang dapat diverifikasi atau templat siap digunakan.

Anda memiliki dua opsi untuk RLVR (Kode Kustom):

Konsol Amazon Bedrock menyediakan template sampel untuk fungsi grader Lambda:

  • Penalaran matematis dengan verifikasi kebenaran dasar

  • Validasi format dan pemeriksaan kendala

  • Template Lambda grader generik dengan kode boilerplate

Ikuti petunjuk dalam template yang disediakan di halaman pekerjaan Buat RFT di konsol Amazon Bedrock.

Buat fungsi hadiah khusus menggunakan Lambda ARN Anda sendiri untuk logika kompleks, API eksternal, perhitungan multi-langkah, atau menggabungkan beberapa kriteria evaluasi.

catatan

Jika Anda membawa fungsi Lambda Anda sendiri, ingatlah hal-hal berikut:

  • Tingkatkan batas waktu Lambda dari default 3 detik menjadi maksimum 15 menit untuk evaluasi kompleks.

  • Peran eksekusi Lambda memerlukan izin untuk memanggil model seperti yang dijelaskan dalam. Akses dan keamanan untuk model Amazon Nova

Pembelajaran Penguatan melalui Umpan Balik AI (RLAIF)

RLAIF mengoptimalkan model untuk tugas-tugas subjektif seperti mengikuti instruksi atau interaksi chatbot menggunakan juri dengan template siap pakai AI-based .

Untuk RLAIF (Model sebagai Hakim):

  • Pilih Model dasar yang dihosting Amazon Bedrock sebagai Hakim

  • Konfigurasikan instruksi untuk evaluasi

  • Tentukan kriteria evaluasi dan pedoman penilaian

Tem LLM-as-Judge plate prompt yang tersedia di konsol Amazon Bedrock:

  • Instruksi berikut (Pelatihan model hakim)

  • Ringkasan (Multi-turn dialog)

  • Evaluasi penalaran (CoT untuk domain khusus)

  • Kesetiaan RAG (Tanya Jaw Context-grounded ab)

catatan

Opsi Model sebagai Hak im konsol secara otomatis mengubah konfigurasi Anda menjadi fungsi Lambda selama pelatihan.

Rincian implementasi fungsi lambda

Saat menerapkan fungsi hadiah Lambda khusus, fungsi Anda harus menerima dan mengembalikan data dalam format berikut.

Input structure
[{
  "id": "123",
  "messages": [
    {
      "role": "user",
      "content": "Do you have a dedicated security team?"
    },
    {
      "role": "assistant",
      "content": "As an AI developed by Amazon, I don not have a dedicated security team..."
    }
  ],
  "metadata": {
    "reference_answer": {
      "compliant": "No",
      "explanation": "As an AI developed by Company, I do not have a traditional security team..."
    },
    "my_key": "sample-001"
  }
}]
Output structure
[{
  "id": "123",
  "aggregate_reward_score": 0.85,
  "metrics_list": [
    {
      "name": "accuracy",
      "value": 0.9,
      "type": "Reward"
    },
    {
      "name": "policy_compliance",
      "value": 0.8,
      "type": "Metric"
    }
  ]
}]

Pedoman desain

  • Tanggapan peringkat — Berikan jawaban terbaik dengan skor yang jelas lebih tinggi

  • Gunakan pemeriksaan yang konsisten — Evaluasi penyelesaian tugas, kepatuhan format, keamanan, dan panjang yang wajar

  • Pertahankan penskalaan yang stabil - Jaga skor tetap normal dan tidak dapat dieksploitasi