Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Argomenti e strategie avanzati

Argomenti in questa pagina

Multi-objective ottimizzazione

Advanced Prompt Optimization accetta una metrica per esecuzione, un singolo punteggio scalare per campione. Tuttavia, supporta implicitamente l'ottimizzazione multi-obiettivo (multidimensionale): puoi raggruppare più obiettivi in un unico scalare (una metrica composita) e il servizio ottimizza il prompt rispetto a quel pacchetto. Questa sezione illustra i modelli che consigliamo, laddove ciascuno di essi è appropriato, e le modalità di errore a cui prestare attenzione.

Questo vale per tutti i settori verticali, ovunque ci si preoccupi di più di una cosa contemporaneamente: precisione + tono, correttezza dei comandi + sicurezza, fedeltà + concisione, compatibilità con la latenza + completezza e altro ancora.

Perché una metrica è in realtà multiobiettivo

Questo sistema funziona grazie a due fattori:

Quindi «una metrica per corsa» è un contratto sulla forma del segnale, non un limite a ciò per cui è possibile ottimizzare.

Schemi per raggruppare più obiettivi in un'unica metrica

Scegline uno in base al modo in cui i tuoi obiettivi si relazionano tra loro.

Schema 1 - Somma ponderata (la più comune)

final = w₁·s₁ + w₂·s₂ + ... + wₖ·sₖ, con una somma dei pesi pari a 1.

Quando usarli: gli obiettivi sono più o meno indipendenti e puoi classificarli. Trade-offs sono accettabili: migliorarne uno a spese di un altro va bene purché la somma aumenti.

Scelta dei pesi:

Esempio (uso dell'agente/dello strumento):

final = 0.5 * tool_correctness + 0.3 * answer_correctness + 0.2 * format_compliance

Schema 2: cancelli (critici per la sicurezza Hard-fail )

Definire uno o più obiettivi di gating. Se un cancello fallisce, il punteggio è 0 (o qualche piano) indipendentemente dal resto. Altrimenti, il punteggio è la somma ponderata degli obiettivi rimanenti.

if not safety_check_passed:
    return 0.0
if wrong_tool_called_for_destructive_action:
    return 0.0
return 0.6 * accuracy + 0.4 * tone

Quando utilizzarlo: almeno un obiettivo non è negoziabile (fuga di dati personali, modifica dell'account errato, rifiuto di contenuti proibiti). Usalo ogni volta che una richiesta «mediamente buona» non è accettabile se non viene visualizzata la barra di sicurezza anche occasionalmente.

Perché è meglio della semplice ponderazione: con i soli pesi, l'ottimizzatore può scambiare sicurezza con qualità e comunque scalare il punteggio. Un cancello rende impossibile il compromesso dovuto alla costruzione.

Schema 3 — Vincolo + ricompensa () Pareto-style

Scegli l'obiettivo più importante come ricompensa. Esprimi il resto come vincoli che, se violati, sottraggono alla ricompensa (anziché azzerarla).

reward = task_accuracy
penalty = 0.0
if response_too_long:
    penalty += 0.1
if missed_required_disclosure:
    penalty += 0.2
return max(0.0, reward - penalty)

Quando usarlo: vuoi che sia un obiettivo primario a guidare, ma obiettivi secondari flessibili dovrebbero comunque dare forma al prompt. Meno fragili dei cancelli rigidi, meno ambigui delle somme ponderate.

Schema 4 — Lambda esterno, LLM-as-a-Judge interno (consigliato per miscele fuzzy + strutturali)

Una metrica Lambda calcola i punteggi secondari deterministici (regex, analisi JSON, convalida dello schema) e richiama una LLM-as-a-Judge sottovalutazione per le parti fuzzy (tono, fedeltà, utilità) all'interno della funzione Lambda. Quindi li aggrega in un unico scalare.

def compute_score(prompt, prediction, gold, ...):
    structural = grade_format_and_tools(prediction)        # 0..1 from regex
    semantic   = call_llm_judge(prediction, gold, criteria) # 0..1 from LLMJ
    if structural < 1.0 and is_safety_critical(prompt):
        return 0.0
    return 0.6 * semantic + 0.4 * structural

Quando usarlo: i tuoi obiettivi combinano «codice facile da testare» (formati, nomi degli strumenti, lunghezza, presenza di citazioni) con «necessità di un modello da giudicare» (tono, fedeltà, disponibilità). Spesso è più semplice che chiedere a un LLM-as-a-Judge prompt di produrre una singola partitura composita, perché le parti deterministiche non si spostano da una riga all'altra.

Schema 5 — Multi-dimension LLM-as-a-Judge (senza Lambda)

Usa il LLM-as-a-Judge flusso integrato, opzionalmente con uno customLLMJConfig.customLLMJPrompt che definisce le tue dimensioni e il tuo peso. Il giudice emette punteggi per dimensione e un valoreOverall; il sistema analizza Overall (o calcola la media delle dimensioni se Overall mancano) in uno scalare [0, 1].

Quando usarlo: tutti i tuoi obiettivi sono semantici/confusi e non hai controlli secondari deterministici. Il più veloce da scrivere. Fai attenzione alla varianza del giudizio: riesegui lo stesso set di dati due volte e verifica la stabilità del punteggio prima di affidarti a esso come segnale di ottimizzazione.

Scelta di un modello

È possibile combinare i modelli. Una tipica metrica di produzione è «somma ponderata + un limite assoluto sulla sicurezza».

Modalità di guasto da tenere d'occhio

Pre-launch lista di controllo

Ottimizzazione dei prompt a più turni e in più fasi

L'ottimizzazione avanzata dei prompt ottimizza un singolo modello di prompt rispetto alle valutazioni per campione. Non è nativamente sensibile ai turni: non può iterare su una finestra di dialogo o ottimizzare il comportamento in un turno specifico in modo nativo. Un prompt graduale è un modello di prompt in cui una conversazione o un flusso di lavoro a più turni riutilizza lo stesso prompt in più turni e il prompt stesso contiene istruzioni per ogni fase, passaggio o fase del flusso di lavoro. Per ottimizzare questi prompt, riduci lo stato della finestra di dialogo nelle variabili di input del modello, incorpora le istruzioni di sistema che desideri perfezionare e analizza le curve che ti promptTemplate interessano davvero con risposte di riferimento per campione.

Questo modello è indipendente dalla verticale. Si applica ovunque un modello venga richiamato ripetutamente in un contesto in crescita: flussi di assistenza clienti, cicli di utilizzo degli strumenti agentici, ragionamento in più fasi, tutoraggio, turni di assistente al codice, controllo qualità basato sui documenti, flussi di lavoro di triage e altro ancora.

Cosa ottimizza effettivamente Advanced Prompt Optimization

Tutto ciò che desideri ottimizzare deve vivere all'interno di se stesso. promptTemplate Le cose che variano a seconda del campione (la cronologia delle conversazioni, la richiesta corrente dell'utente, il contesto recuperato) sono{{variables}}. Le istruzioni di sistema che desideri perfezionare fanno parte del modello: non sono mai una variabile di input, altrimenti il servizio non ha nulla da riscrivere.

Se desideri che il servizio migliori il comportamento alla curva N, esprimi il turno N come prompt plus-input-variables renderizzate per un campione, indicando l'output del modello Turn-N desiderato. referenceResponse

Pattern A — (iniziatore consigliato) Stage-at-a-time

Ottimizza una fase della finestra di dialogo alla volta. Ogni campione di valutazione rappresenta un singolo punto decisionale all'interno di quella fase.

Una «fase» qui è tutto ciò che si può descrivere con una serie coerente di criteri di successo. Esempi per verticale:

Quando usare il Pattern A

Forma del modello

Le istruzioni di sistema specifiche della fase vengono inserite nel modello (questo è ciò che il servizio riscrive). Solo la cronologia delle conversazioni e il turno corrente sono variabili. La struttura seguente è illustrativa, non prescritta. Usa i delimitatori o il layout che il tuo modello gestisce meglio. Gli unici requisiti sono: (a) le istruzioni di sistema da ottimizzare sono contenute all'interno del modello e (b) le variabili per campione sono indicate come. {{variablename}}

You are an assistant in the {STAGE_NAME} phase of a multi-turn task.
- ...the policy / goals / format / tool-use rules for this phase...
- ...constraints the model must satisfy at this point in the conversation...

Conversation so far:
{{conversation_so_far}}

User's current message:
{{user_query}}

Forma del campione

{
    "inputVariables": [
        {"conversation_so_far": "user: ...\nassistant: ...\n... (turns 1..N-1)"},
        {"user_query": "...the user input that triggers this stage..."}
    ],
    "referenceResponse": "...the assistant output that satisfies the stage's success criteria..."
}

Pro e contro

Vantaggi: segnale di feedback preciso, prompt più piccoli, esecuzioni di ottimizzazione più rapide, più facile creare una metrica mirata.

Contro: non rileva variazioni tra le fasi; il servizio verrà eseguito una volta per fase e potrebbe essere necessario un test di integrazione finale.

Schema B — Conversazione completamente appiattita (avanzata)

Ottimizza un unico prompt monolitico di grandi dimensioni che contiene l'intera policy in più fasi. Ogni esempio è la finestra di dialogo completa fino al turno di una sonda.

Quando usare Pattern B

Forma del modello

Il prompt di sistema completamente monolitico e multifase si trova letteralmente all'interno del modello. Il servizio riscrive questo corpo durante l'ottimizzazione. La cronologia e la svolta attuale rimangono variabili. Scegliete un layout che il vostro modello gestisca correttamente; i requisiti sono solo che le istruzioni da ottimizzare facciano parte del modello e che si faccia riferimento ai dati per campione. {{name}}

You are an assistant for {TASK}. The conversation may proceed through phases:
1. {PHASE_1} — ...
2. {PHASE_2} — ...
3. {PHASE_3} — ...
(...the entire multi-phase policy, tool-use rules, tone, formatting, refusal rules...)

Conversation so far (turns 1..N-1, with role tags):
{{conversation_so_far}}

User's current message:
{{user_query}}

Forma del campione (sonda a qualsiasi angolo N)

{
    "inputVariables": [
        {"conversation_so_far": "user: ...\nassistant: ...\n[tool_call: X(...)]\n... (turns 1..N-1)"},
        {"user_query": "...the user input at turn N..."}
    ],
    "referenceResponse": "...desired assistant output at turn N..."
}

Perché il Pattern B può funzionare meglio del Pattern A

Avvertenze per il modello B

Tool-call verifica in un momento specifico

Il servizio vede l'output di testo dell'assistente. Per valutare «il modello ha chiamato lo strumento X con gli args corretti alla curva N», scegline uno:

Per criteri compositi basati su più turni o su più controlli secondari (correttezza, tono e completezza dello strumento), consulta la sezione. Multi-objective ottimizzazione

Percorso consigliato

Quando non utilizzare Advanced Prompt Optimization per più turni

Lista di controllo iniziale