Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Topik dan strategi lanjutan

Topik di halaman ini

Multi-objective optimasi

Advanced Prompt Optimization menerima satu metrik per run — skor skalar tunggal per sampel. Namun, secara implisit mendukung pengoptimalan multi-tujuan (multi-dimensi): Anda dapat menggabungkan beberapa tujuan menjadi satu skalar (metrik komposit) dan layanan mengoptimalkan prompt terhadap bundel itu. Bagian ini mencakup pola yang kami rekomendasikan, kapan masing-masing sesuai, dan mode kegagalan yang harus diperhatikan.

Ini berlaku di seluruh vertikal — di mana pun Anda peduli tentang lebih dari satu hal pada saat yang sama: akurasi + nada, kebenaran panggilan alat + keamanan, kesetiaan + keringkasan, keterlambatan-keramahan + kelengkapan, dan banyak lagi.

Mengapa satu metrik sebenarnya multi-tujuan

Dua fakta tentang sistem membuat ini berfungsi:

Jadi “satu metrik per run” adalah kontrak tentang bentuk sinyal, bukan batas pada apa yang dapat Anda optimalkan.

Pola untuk menggabungkan beberapa tujuan ke dalam satu metrik

Pilih satu berdasarkan bagaimana tujuan Anda berhubungan satu sama lain.

Pola 1 — Jumlah tertimbang (paling umum)

final = w₁·s₁ + w₂·s₂ + ... + wₖ·sₖ, dengan bobot dijumlahkan menjadi 1.

Kapan menggunakan: Tujuan kira-kira independen dan Anda dapat memberi peringkat. Trade-offs dapat diterima — meningkatkan satu dengan mengorbankan yang lain tidak apa-apa selama jumlahnya naik.

Memilih bobot:

Contoh (agentik/penggunaan alat):

final = 0.5 * tool_correctness + 0.3 * answer_correctness + 0.2 * format_compliance

Pola 2 - Hard-fail gerbang (kritis keselamatan)

Tentukan satu atau lebih tujuan gating. Jika ada gerbang yang gagal, skornya adalah 0 (atau beberapa lantai) terlepas dari sisanya. Jika tidak, skor adalah jumlah tertimbang dari tujuan yang tersisa.

if not safety_check_passed:
    return 0.0
if wrong_tool_called_for_destructive_action:
    return 0.0
return 0.6 * accuracy + 0.4 * tone

Kapan menggunakan: Se tidaknya satu tujuan tidak dapat dinegosiasikan (kebocoran PII, akun yang salah dimodifikasi, penolakan konten yang dilarang). Gunakan ini setiap kali prompt “bagus rata-rata” tidak dapat diterima jika gagal pada bilah pengaman bahkan sesekali.

Mengapa ini mengalahkan pembobotan saja: Dengan bobot saja, pengoptimal dapat menukar keamanan dengan kualitas dan tetap mendaki skor. Sebuah gerbang membuat pertukaran menjadi tidak mungkin dengan konstruksi.

Pola 3 - Kendala + hadiah () Pareto-style

Pilih tujuan yang paling penting sebagai hadiah. Ekspresikan sisanya sebagai kendala yang, ketika dilanggar, kurangi dari hadiah (daripada menolaknya).

reward = task_accuracy
penalty = 0.0
if response_too_long:
    penalty += 0.1
if missed_required_disclosure:
    penalty += 0.2
return max(0.0, reward - penalty)

Kapan menggunakan: Anda ingin satu tujuan utama untuk memimpin, tetapi tujuan sekunder lunak harus tetap membentuk prompt. Kurang rapuh dari gerbang keras, kurang ambigu dari jumlah tertimbang.

Pola 4 - Lambda luar, LLM-as-a-Judge dalam (direkomendasikan untuk campuran fuzzy + struktural)

Metrik Lambda menghitung sub-skor deterministik (regex, JSON parse, validasi skema) dan memanggil LLM-as-a-Judge sub-evaluasi untuk bagian fuzzy (nada, kesetiaan, bantuan) di dalam fungsi Lambda. Kemudian menggabungkan mereka menjadi satu skalar.

def compute_score(prompt, prediction, gold, ...):
    structural = grade_format_and_tools(prediction)        # 0..1 from regex
    semantic   = call_llm_judge(prediction, gold, criteria) # 0..1 from LLMJ
    if structural < 1.0 and is_safety_critical(prompt):
        return 0.0
    return 0.6 * semantic + 0.4 * structural

Kapan menggunakan: Tujuan Anda memadukan “mudah diuji dalam kode” (format, nama alat, panjang, keberadaan kutipan) dengan “membutuhkan model untuk menilai” (nada, kesetiaan, bantuan). Ini seringkali lebih bersih daripada meminta satu LLM-as-a-Judge prompt untuk menghasilkan skor komposit tunggal, karena bagian deterministik tidak akan hanyut run-to-run.

Pola 5 — Multi-dimension LLM-as-a-Judge (tanpa Lambda)

Gunakan LLM-as-a-Judge aliran bawaan, opsional dengan a customLLMJConfig.customLLMJPrompt yang menentukan dimensi dan bobot Anda sendiri. Hakim memancarkan skor per dimensi dan anOverall; sistem mengurai Overall (atau rata-rata dimensi jika Overall hilang) menjadi skalar [0, 1].

Kapan menggunakan: Semua tujuan Anda semantik/fuzzy dan Anda tidak memiliki sub-cek deterministik. Tercepat untuk penulis. Perhatikan varians penilaian — jalankan kembali kumpulan data yang sama dua kali dan lihat stabilitas skor sebelum mempercayainya sebagai sinyal pengoptimalan.

Memilih pola

Anda dapat menggabungkan pola. Metrik produksi yang khas adalah “jumlah tertimbang+gerbang yang sulit untuk keselamatan.”

Mode kegagalan yang harus diperhatikan

Pre-launch daftar periksa

Mengoptimalkan petunjuk multi-putaran dan bertahap

Advanced Prompt Optimization mengoptimalkan template prompt tunggal terhadap evaluasi per sampel. Ini tidak secara native turn-aware — tidak dapat mengulangi dialog atau mengoptimalkan perilaku pada giliran tertentu secara asli. Pro mpt bertahap adalah template prompt di mana percakapan multi-putaran atau alur kerja menggunakan kembali prompt yang sama di seluruh belokan, dan prompt itu sendiri berisi instruksi untuk setiap tahap, langkah, atau fase alur kerja. Untuk mengoptimalkan petunjuk ini, ratakan status dialog ke dalam variabel input template, panggang instruksi sistem yang ingin Anda sempurnakan ke dalamnyapromptTemplate, dan periksa belokan yang benar-benar Anda pedulikan dengan respons referensi per sampel.

Pola ini bersifat vertikal-agnostik. Ini berlaku di mana pun model dipanggil berulang kali dengan konteks yang berkembang - aliran layanan pelanggan, loop penggunaan alat agen, penalaran multi-langkah, bimbingan belajar, giliran asisten kode, QA berbasis dokumen, alur kerja triase, dan banyak lagi.

Apa yang sebenarnya dioptimalkan oleh Advanced Prompt Optimization

Apa pun yang Anda inginkan dioptimalkan harus hidup di dalam promptTemplate dirinya sendiri. Hal-hal yang bervariasi per sampel (riwayat percakapan, kueri pengguna saat ini, konteks yang diambil) adalah{{variables}}. Instruksi sistem yang Anda ingin disempurnakan adalah bagian dari template - tidak pernah menjadi variabel input, atau layanan tidak memiliki apa pun untuk ditulis ulang.

Jika Anda ingin layanan meningkatkan perilaku pada belokan N, ekspresikan belokan N sebagai variabel prompt-plus-input-yang dirender untuk satu sampel, dengan referenceResponse menjadi output model turn-N yang diinginkan.

Pola A — Stage-at-a-time (starter yang disarankan)

Optimalkan satu fase dialog pada satu waktu. Setiap sampel evaluasi mewakili satu titik keputusan dalam fase itu.

“Tahap” di sini adalah apa pun yang dapat Anda gambarkan dengan serangkaian kriteria keberhasilan yang koheren. Contoh dengan vertikal:

Kapan menggunakan Pola A

Bentuk templat

Instruksi sistem khusus tahap dimasukkan ke dalam template (inilah yang ditulis ulang layanan). Hanya riwayat percakapan dan giliran saat ini yang menjadi variabel. Struktur di bawah ini adalah ilustratif, tidak ditentukan. Gunakan pembatas atau tata letak apa pun yang paling ditangani model Anda. Satu-satunya persyaratan adalah: (a) instruksi sistem yang ingin Anda optimalkan langsung di dalam template, dan (b) variabel per sampel direferensikan sebagai{{variablename}}.

You are an assistant in the {STAGE_NAME} phase of a multi-turn task.
- ...the policy / goals / format / tool-use rules for this phase...
- ...constraints the model must satisfy at this point in the conversation...

Conversation so far:
{{conversation_so_far}}

User's current message:
{{user_query}}

Bentuk sampel

{
    "inputVariables": [
        {"conversation_so_far": "user: ...\nassistant: ...\n... (turns 1..N-1)"},
        {"user_query": "...the user input that triggers this stage..."}
    ],
    "referenceResponse": "...the assistant output that satisfies the stage's success criteria..."
}

Pro dan kontra

Kelebihan: Sinyal umpan balik yang ketat, petunjuk yang lebih kecil, pengoptimalan berjalan lebih cepat, lebih mudah untuk membuat metrik terfokus.

Kekurangan: Tidak menangkap penyimpangan lintas tahap; Anda akan menjalankan layanan sekali per tahap dan mungkin memerlukan tes integrasi akhir.

Pola B - Percakapan rata penuh (lanjutan)

Optimalkan satu prompt monolitik besar yang memiliki seluruh kebijakan multi-tahap. Setiap sampel adalah dialog lengkap hingga putaran probe.

Kapan menggunakan Pola B

Bentuk templat

Prompt sistem monolitik penuh, multi-fase berada di dalam template. Layanan menulis ulang badan ini selama pengoptimalan. Sejarah dan giliran saat ini tetap variabel. Pilih tata letak apa pun yang ditangani model Anda dengan baik; persyaratannya hanya instruksi yang akan dioptimalkan adalah bagian dari template dan data per sampel direferensikan melalui{{name}}.

You are an assistant for {TASK}. The conversation may proceed through phases:
1. {PHASE_1} — ...
2. {PHASE_2} — ...
3. {PHASE_3} — ...
(...the entire multi-phase policy, tool-use rules, tone, formatting, refusal rules...)

Conversation so far (turns 1..N-1, with role tags):
{{conversation_so_far}}

User's current message:
{{user_query}}

Bentuk sampel (probe pada setiap belokan N)

{
    "inputVariables": [
        {"conversation_so_far": "user: ...\nassistant: ...\n[tool_call: X(...)]\n... (turns 1..N-1)"},
        {"user_query": "...the user input at turn N..."}
    ],
    "referenceResponse": "...desired assistant output at turn N..."
}

Mengapa Pola B dapat bekerja lebih baik dari Pola A

Peringatan untuk Pola B

Tool-call verifikasi pada giliran tertentu

Layanan melihat output teks asisten. Untuk menilai “apakah model memanggil alat X dengan arg kanan di belokan N,” pilih salah satu:

Untuk kriteria gabungan di banyak belokan atau banyak sub-pemeriksaan (kebenaran alat dan nada dan kelengkapan), lihat Multi-objective optimasi bagian.

Jalur yang direkomendasikan

Kapan tidak menggunakan Advanced Prompt Optimization untuk multi-turn

Daftar periksa pemula