RFT en Nova 2.0

Los datos de entrenamiento del RFT siguen el formato conversacional de OpenAI. Cada ejemplo de entrenamiento es un objeto JSON que contiene mensajes, respuestas de referencia y definiciones de herramientas opcionales. En esta sección, se proporciona orientación sobre cómo preparar datos de entrenamiento efectivos para el RFT en Nova 2.0.

Formato y estructura de los datos

Cada ejemplo de entrenamiento es un objeto JSON que contiene lo siguiente:

Cada ejemplo debe estar en una sola línea del archivo JSONL, con un objeto JSON por línea.

{  
  "id": "chem-001",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a helpful chemistry assistant"  
    },  
    {  
      "role": "user",  
      "content": "Predict hydrogen bond donors and acceptors for this SMILES: CCN(CC)CCC(=O)c1sc(N)nc1C"  
    }  
  ],  
  "reference_answer": {  
    "donor_bond_counts": 2,  
    "acceptor_bond_counts": 4,  
    "explanation": "Calculated using Lipinski's rule of five: N-H groups (2 donors), N and O atoms with lone pairs (4 acceptors)"  
  }  
}

{  
  "id": "math-001",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a math tutor"  
    },  
    {  
      "role": "user",  
      "content": "Solve: 2x + 5 = 13"  
    }  
  ],  
  "reference_answer": {  
    "solution": "x = 4",  
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]  
  }  
}

{  
  "id": "tool-001",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a helpful game master assistant"  
    },  
    {  
      "role": "user",  
      "content": "Generate a strength stat for a warrior character. Apply a +2 racial bonus modifier."  
    }  
  ],  
  "tools": [  
    {  
      "type": "function",  
      "function": {  
        "name": "StatRollAPI",  
        "description": "Generates character stats by rolling 4d6, dropping the lowest die result, and applying a modifier.",  
        "parameters": {  
          "type": "object",  
          "properties": {  
            "modifier": {  
              "description": "An integer representing the modifier to apply to the total of the stat roll.",  
              "type": "integer"  
            }  
          },  
          "required": ["modifier"]  
        }  
      }  
    }  
  ],  
  "reference_answer": {  
    "tool_called": "StatRollAPI",  
    "tool_parameters": {  
      "modifier": 2  
    },  
    "expected_behavior": "Call StatRollAPI with modifier=2 and return the calculated stat value"  
  }  
}

Descripción del campo

Guía de hiperparámetros

Utilice los siguientes hiperparámetros recomendados en función de su enfoque de entrenamiento:

General:

LoRA (adaptación de rango bajo):

Propiedades adicionales

La configuración “additionalProperties”: true le permite incluir campos personalizados más allá de los requisitos básicos del esquema, lo que proporciona flexibilidad para agregar cualquier dato que la función de recompensas necesite para una evaluación adecuada.

Campos adicionales comunes

Puede incluir los siguientes tipos de campos adicionales:

Metadatos:

Criterios de evaluación:

Ejemplo con propiedades adicionales

En el siguiente ejemplo, se incluyen campos de metadatos personalizados:

{  
  "id": "algebra_001",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a math tutor"  
    },  
    {  
      "role": "user",  
      "content": "Solve: 2x + 5 = 13"  
    }  
  ],  
  "reference_answer": {  
    "solution": "x = 4",  
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]  
  },  
  "task_id": "algebra_001",  
  "difficulty_level": "easy",  
  "domain": "algebra",  
  "expected_reasoning_steps": 3  
}

Recomendaciones de tamaño de conjunto de datos

Punto de partida

Comience con los siguientes tamaños mínimos de conjuntos de datos:

Priorice los datos de entrada de alta calidad y una función de recompensa fiable que se ejecute de manera coherente en las respuestas del modelo.

Enfoque de priorización de la evaluación

Antes de invertir en un entrenamiento RFT a gran escala, evalúe el rendimiento de línea de base del modelo:

Este enfoque de priorización de la evaluación garantiza que la función de recompensa no tenga errores y determina si el RFT es el método adecuado para su caso de uso. Empezar poco a poco le permite familiarizarse con el flujo de trabajo del RFT, identificar y solucionar los problemas con antelación, validar su enfoque antes de escalar verticalmente y probar la fiabilidad de la función de recompensas. Una vez validado, puede ampliarlo a conjuntos de datos más grandes para mejorar aún más el rendimiento.

Características de los datos de entrenamiento eficaces

Claridad y coherencia

Los buenos ejemplos del RFT requieren datos de entrada claros e inequívocos que permitan un cálculo preciso de las recompensas en las diferentes salidas del modelo. Evite el ruido en los datos, lo que incluye lo siguiente:

Cualquier ambigüedad inducirá a error durante el proceso de entrenamiento y provocará que el modelo aprenda comportamientos no deseados.

Diversidad

El conjunto de datos debe capturar toda la diversidad de casos de uso de producción para garantizar un rendimiento real sólido. Incluya:

Esta diversidad ayuda a evitar el sobreajuste y garantiza que el modelo gestione sin problemas las entradas desconocidas.

Consideraciones sobre la función de recompensas

Diseñe la función de recompensas para un entrenamiento eficiente:

Las funciones de recompensas rápidas y escalables permiten una iteración rápida y una experimentación rentable a escala.