Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Riferimento agli iperparametri

La tabella seguente elenca tutti gli iperparametri configurabili per i lavori di formazione RL su più turni. Le impostazioni predefinite per le ricette sono riportate di seguito.

Le migliori pratiche per la regolazione degli iperparametri

Quando una sequenza è piatta o in fase di collasso, i sei parametri seguenti rappresentano quasi tutta la spiegazione.

Tasso di apprendimento

learning_rateControlla l'ampiezza del passo compiuto dall'ottimizzatore a ogni iterazione di allenamento. Nell'RL a turni multipli, il segnale di gradiente per fase varia a seconda dell'attività: un ambiente a ricompensa sparsa con risultati binari produce molti gruppi in cui tutti i rollout ottengono lo stesso punteggio, con zero vantaggi per l'intero gruppo. Solo i gruppi con risultati misti producono un segnale di gradiente, quindi il gradiente utile di ogni fase viene diluito. Il tasso di apprendimento deve essere inferiore per allinearsi al segnale più debole, oppure la corsa richiede più passaggi.

Un ambiente ricco di ricompense, in cui le traiettorie all'interno di un gruppo ottengono in modo affidabile punteggi diversi, produce vantaggi costanti e diversi da zero per la maggior parte dei gruppi, e il tasso di apprendimento predefinito è spesso già sufficiente.

La dimensione effettiva dei passaggi dipende anche dalla configurazione LoRa, vale a dire l'entità effettiva degli aggiornamenti, quindi una frequenza di apprendimento fissa varia a seconda della capacità dell'adattatore. learning_rate × alpha/rank

Funzione di perdita e intervallo di ritaglio

Se non conoscete MTRL, importance sampling (importance_sampling) è un buon punto di partenza prima di passare ad algoritmi avanzati basati sul clipping. PPO e CISPO utilizzano clip_low_threshold e limitano il rapporto di probabilità, vale clip_high_threshold a dire quanto la politica può policy_new(action|state) / policy_old(action|state) cambiare in una singola fase di formazione.

Un rapporto tra 1.0 significa nessun cambiamento. La soglia inferiore (ad esempio0.8) impedisce alla politica di disimparare in modo aggressivo le azioni che preferiva in precedenza. La soglia superiore (ad esempio1.2) impedisce alla banca di impegnarsi eccessivamente in azioni che risultavano soddisfacenti in un unico batch.

Si consiglia di modificare le soglie di clipping in caso di rallentamento o insufficiente allenamento.

Dimensione del batch e dimensione del gruppo

Questi due parametri determinano congiuntamente la quantità di segnale di gradiente utile ricevuta da ogni fase di allenamento.

global_batch_sizecontrolla quanti prompt unici sono inclusi in un passaggio dell'ottimizzatore. I batch più grandi (128) generano una media dei gradienti rispetto a più prompt, producendo curve di ricompensa più fluide e aggiornamenti più stabili. I batch più piccoli (32) sono più economici per fase e sono utili per iterazioni rapide, ma producono gradienti più rumorosi. Per le esecuzioni di produzione, 128 è una buona impostazione predefinita; per il debug o lo screening degli iperparametri, 32 va bene.

group_sizedetermina quante implementazioni indipendenti vengono generate per ogni prompt. Queste implementazioni vengono confrontate tra loro per ottenere vantaggi in termini di calcolo. Se tutte le implementazioni ricevono la stessa ricompensa (tutte hanno successo o tutte falliscono), il vantaggio è pari a zero e il gruppo non produce alcun segnale di gradazione. Il valore predefinito è group_size = 8. Riducilo se c'è abbastanza diversità nel gruppo, aumentala se l'ambiente richiede maggiore diversità.

Implementazioni totali per fase =. global_batch_size × group_size In contesti con ricompense sparse, in cui la maggior parte dei gruppi non produce alcun segnale, spesso è più efficiente mantenere la dimensione del gruppo moderata e aumentare invece la dimensione del batch o il numero di passaggi.

Off-policy parzialità

Nell'addestramento asincrono, max_steps_off_policy controlla il grado di obsolescenza di un'implementazione prima che venga scartata. L'impostazione predefinita di nasconde la latenza di coda del server di rollout. 3 Tuttavia, i rollout obsoleti hanno rapporti di importanza che si discostano sostanzialmente da quelli della clip1.0, e quando tali rapporti raggiungono i limiti delle clip non forniscono alcun segnale di gradiente.

Impostato su 0 quando il debug collassa. La stupidità asincrona si accompagna ad aggiornamenti ponderati in base all'importanza e può oscurare le cause principali. Imposta su0, stabilizza, quindi riattiva una volta compreso il problema. Per gli ambienti in cui le implementazioni sono rapide, max_steps_off_policy = 1 può essere un'impostazione predefinita migliore.

Numero massimo di token di campionamento

sampling_max_tokensè il limite di generazione per turno. Se il limite è troppo basso, le risposte del modello vengono troncate a metà riflessione e il modello riceve una ricompensa per un tentativo incompleto. La policy impara quindi ad associare quei prefissi troncati a risultati negativi, sopprimendo i comportamenti esplorativi che avrebbero avuto successo se si avesse avuto più spazio.

L'impostazione predefinita di 4096 funziona per la maggior parte delle attività. Aumenta a 8192 per i modelli con risposte troppo thinking/reasoning lunghe. La regola di dimensionamento è: max_turns × (sampling_max_tokens + expected_tool_output) + prompt ≤ max_sequence_length con un certo margine.

Diagnostica: monitor. rollout/tokens/response_max Se le traiettorie si raggruppano esattamente in corrispondenza del limite massimo, il modello viene troncato silenziosamente e probabilmente perde il segnale. val_sampling_params.sampling_max_tokensdovrebbe corrispondere all'allenamento.

Rollout configuration (Configurazione rollout)

Questi parametri controllano il modo in cui vengono prodotte le implementazioni e il modo in cui il trainer gestisce le implementazioni lente o fallite.

Parametri di supporto