Preparación de datos para el RFT en Amazon Nova 2

Actualmente, RFT en Amazon Nova 2 admite datos de entrenamiento basados en texto. En esta página, se describen el formato de los datos, las características compatibles, las restricciones y las prácticas recomendadas para preparar los datos de entrenamiento de RFT para los modelos de comprensión de Amazon Nova 2.

Formato de los datos

Los datos de entrenamiento de RFT deben seguir el formato de refinamiento de refuerzo de OpenAI. Cada línea de su archivo de entrenamiento JSONL es un objeto JSON con los siguientes campos de nivel superior. Amplíe cada sección para obtener más información:

"messages": [
    {
        "role": "system",
        "content": "instructions"
    },
    {
        "role": "user",
        "content": "prompt"
    }
]

"reference_answer": {
    "field": "value"
}

"tools": [
    {
        "type": "function",
        "function": {
            "name": "tool-name",
            "description": "tool-description",
            "parameters": { ... }
        }
    }
]

Validación de los datos

Antes de enviar su trabajo de entrenamiento, valide su conjunto de datos para detectar pronto los problemas de formato. Para ver las herramientas de validación disponibles, consulte Herramientas de validación.

Ejemplo de entradas

A continuación, se muestran ejemplos completos de objetos JSON que ilustran cómo combinar los campos para diferentes casos de uso de RFT.

Características admitidas

En la siguiente tabla se resume la compatibilidad de características para RFT en Amazon Nova 2.

Comprensión general/de textos

En esta sección se resumen las restricciones generales y las prácticas recomendadas para preparar los datos de entrenamiento de RFT en Amazon Nova 2.

Restricciones

Prácticas recomendadas

Ejemplo de entrada

{
    "id": "math-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a math tutor"
        },
        {
            "role": "user",
            "content": "Solve: 2x + 5 = 13"
        }
    ],
    "reference_answer": {
        "solution": "x = 4",
        "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
    }
}

Llamada a herramientas

El RFT admite modelos de entrenamiento en patrones de uso de herramientas, lo que permite al modelo aprender cuándo y cómo debe invocar herramientas o funciones externas.

Restricciones

Prácticas recomendadas

Ejemplo de entrada

{
    "id": "tool-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful game master assistant"
        },
        {
            "role": "user",
            "content": "Generate a strength stat for a warrior character. Apply a +2 racial bonus modifier."
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": "StatRollAPI",
                "description": "Generates character stats by rolling 4d6, dropping the lowest die result, and applying a modifier.",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "modifier": {
                            "description": "An integer representing the modifier to apply to the total of the stat roll.",
                            "type": "integer"
                        }
                    },
                    "required": ["modifier"]
                }
            }
        }
    ],
    "reference_answer": {
        "tool_called": "StatRollAPI",
        "tool_parameters": {
            "modifier": 2
        },
        "expected_behavior": "Call StatRollAPI with modifier=2 and return the calculated stat value"
    }
}

Razonamiento

El RFT de Amazon Nova 2 admite el modo de razonamiento, en el cual el modelo genera tokens de pensamiento explícito antes de producir una respuesta final. El comportamiento de razonamiento se controla durante el entrenamiento con el campo de configuración de entrenamiento reasoning_effort.

Restricciones

Cuándo se debe usar cada modo

Use el razonamiento de high para lo siguiente:

Utilice el razonamiento de none (omita reasoning_effort) o de low para lo siguiente:

Compensaciones de costo y rendimiento

Los modos de razonamiento alto aumentan lo siguiente:

Características de los datos de entrenamiento eficaces

Claridad y coherencia

Los buenos ejemplos del RFT requieren datos de entrada claros e inequívocos que permitan un cálculo preciso de las recompensas en las diferentes salidas del modelo. Evite el ruido en los datos, lo que incluye lo siguiente:

Cualquier ambigüedad inducirá a error durante el proceso de entrenamiento y provocará que el modelo aprenda comportamientos no deseados.

Diversidad

El conjunto de datos debe capturar toda la diversidad de casos de uso de producción para garantizar un rendimiento real sólido. Incluya:

Consideraciones sobre la función de recompensas

Diseñe la función de recompensas para un entrenamiento eficiente:

Las funciones de recompensas rápidas y escalables permiten una iteración rápida y una experimentación rentable.

Entrenamiento RFT con LLM como juez

Descripción general

Los modelos de lenguaje de gran tamaño (LLM) se utilizan cada vez más como jueces en los flujos de trabajo de refinamiento por refuerzo (RFT), ya que proporcionan señales de recompensas automatizadas que guían la optimización de los modelos. Con este enfoque, el LLM evalúa las salidas del modelo en función de requisitos específicos (ya sea la corrección, la calidad, la adherencia al estilo o la equivalencia semántica) y asigna recompensas que impulsan el proceso de aprendizaje por refuerzo.

Esto es particularmente valioso para tareas en las que las funciones de recompensas tradicionales son difíciles de definir mediante programación, como determinar si diferentes representaciones (como “1/3”, “0,333” y “un tercio”) son semánticamente equivalentes, o evaluar cualidades matizadas como la coherencia y la relevancia. Al utilizar jueces basados en LLM como funciones de recompensas, puede escalar el RFT a dominios complejos sin necesidad de una amplia anotación humana, lo que permite una iteración rápida y una mejora continua de los modelos en varios casos de uso, más allá de los problemas de alineación tradicionales.

Validación del juez de LLM

Antes de implementar un LLM como juez en producción, compruebe que las evaluaciones del modelo del juez se ajusten al juicio humano. Esto implica:

Este paso de validación ayuda a garantizar que el proceso de evaluación automatizada produzca modelos que cumplan con los requisitos de calidad de producción.

Configuración de Lambda para juez de LLM

El uso de un LLM como juez es una extensión del uso de las funciones de Lambda para el aprendizaje por refuerzo con recompensas verificables (RLVR). Dentro de la función de Lambda, puede hacer una llamada a uno de los modelos alojados en Amazon Bedrock.

Requisitos de configuración importantes: