Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Referencia de hiperparámetros

En la siguiente tabla se enumeran todos los hiperparámetros configurables para los trabajos de entrenamiento de RL de varios giros. Los valores predeterminados de las recetas se incluyen a continuación.

Mejores prácticas para ajustar los hiperparámetros

Cuando una corrida es plana o se colapsa, los seis parámetros siguientes explican casi toda la explicación.

Tasa de aprendizaje

learning_rateControla el tamaño del paso que da el optimizador en cada iteración de entrenamiento. En el RL de varios giros, la señal de gradiente por paso varía en función de la tarea: en un entorno de escasa recompensa y con resultados binarios, se generan muchos grupos en los que todos los lanzamientos obtienen la misma puntuación, por lo que no se obtiene ninguna ventaja para todo el grupo. Solo los grupos con resultados mixtos producen una señal de gradiente, por lo que el gradiente útil de cada paso se diluye. La tasa de aprendizaje debe ser menor para alinearse con una señal más débil, o la carrera necesita más pasos.

Un entorno de recompensas densas en el que las trayectorias dentro de un grupo obtienen puntajes diferentes de manera confiable produce ventajas consistentes y distintas de cero en la mayoría de los grupos, y la tasa de aprendizaje predeterminada a menudo ya es suficiente.

El tamaño efectivo del paso también depende de la configuración de LoRa (la magnitud real de la actualización es igual), por lo que una tasa de aprendizaje fija se learning_rate × alpha/rank obtiene de forma diferente en función de la capacidad del adaptador.

Función de pérdida y rango de recorte

Si es la primera vez que utiliza el MTRL, el muestreo por importancia (importance_sampling) es un buen punto de partida antes de pasar a algoritmos avanzados basados en recortes. La PPO y la CISPO utilizan clip_low_threshold y clip_high_threshold limitan la razón de probabilidad, es decirpolicy_new(action|state) / policy_old(action|state), cuánto se permite cambiar la política en un solo paso de formación.

Una proporción de 1.0 significa que no hay cambio. El umbral inferior (por ejemplo0.8) impide que la política desaprenda agresivamente las acciones que antes favorecía. El umbral superior (por ejemplo1.2) evita que la empresa se comprometa en exceso con acciones que parecían buenas de una sola vez.

Se recomienda ajustar los umbrales de recorte si se observa un colapso o un entrenamiento insuficiente durante el entrenamiento.

Tamaño del lote y tamaño del grupo

Estos dos parámetros determinan conjuntamente la cantidad de señal de gradiente útil que recibe cada paso de entrenamiento.

global_batch_sizecontrola cuántas indicaciones únicas se incluyen en un paso del optimizador. Los lotes más grandes (128) promedian los gradientes sobre más solicitudes, lo que produce curvas de recompensa más suaves y actualizaciones más estables. Los lotes más pequeños (32) son más económicos por paso y son útiles para una iteración rápida, pero producen gradientes más ruidosos. Para las tiradas de producción, 128 es un buen valor predeterminado; para la depuración o el filtrado de hiperparámetros, 32 es suficiente.

group_sizedetermina el número de despliegues independientes que se generan para cada solicitud. Estos despliegues se comparan entre sí para calcular las ventajas. Si todos los lanzamientos reciben la misma recompensa (todos tienen éxito o todos fallan), la ventaja es cero y el grupo no produce ninguna señal de gradiente. El valor predeterminado es group_size = 8. Si hay suficiente diversidad en el grupo, redúzcala si el entorno exige más diversidad.

Número total de despliegues por paso =global_batch_size × group_size. En entornos con recompensas dispersas, donde la mayoría de los grupos no dan señal, suele ser más eficiente mantener un tamaño de grupo moderado y, en su lugar, aumentar el tamaño del lote o el número de pasos.

Off-policy obsolescencia

En el entrenamiento asincrónico, max_steps_off_policy controla el grado de obsolescencia que puede tener una implementación antes de descartarla. El valor predeterminado oculta la latencia final del servidor de despliegue. 3 Sin embargo, los lanzamientos obsoletos tienen cocientes de importancia que se desvían sustancialmente de los coeficientes y1.0, cuando estos coeficientes alcanzan los límites del clip, no aportan ninguna señal de gradiente.

Establézcalo en 0 al depurar el colapso. La obsolescencia asíncrona se ve agravada por las actualizaciones ponderadas por importancia y puede ocultar las causas fundamentales. Configúrelo0, estabilícelo y vuelva a activarlo una vez que se haya entendido el problema. Para entornos en los que las implementaciones son rápidas, max_steps_off_policy = 1 puede ser una opción predeterminada mejor.

Muestreo del máximo de fichas

sampling_max_tokenses el límite de generación por turno. Si el límite es demasiado bajo, las respuestas del modelo se truncan a mitad de la reflexión y recibe una recompensa por un intento incompleto. Luego, la política aprende a asociar esos prefijos truncados con malos resultados, lo que suprime los comportamientos exploratorios que habrían tenido éxito si hubiera tenido más espacio.

El valor predeterminado de 4096 funciona para la mayoría de las tareas. Aumente a 8192 para los modelos con respuestas demasiado thinking/reasoning largas. La regla de dimensionamiento es: max_turns × (sampling_max_tokens + expected_tool_output) + prompt ≤ max_sequence_length con cierto margen.

Diagnóstico: monitorrollout/tokens/response_max. Si las trayectorias se agrupan exactamente en el límite, el modelo se trunca silenciosamente y es probable que pierda señal. val_sampling_params.sampling_max_tokensdebería coincidir con el entrenamiento.

Configuración de despliegue

Estos parámetros controlan la forma en que se producen las implantaciones y la forma en que el entrenador gestiona las implantaciones lentas o fallidas.

Parámetros de apoyo