Preparazione dei dati per RFT su Amazon Nova 2

RFT su Amazon Nova 2 attualmente supporta dati di formazione basati su testo. Questa pagina descrive il formato dei dati, le funzionalità supportate, i vincoli e le best practice per la preparazione dei dati di addestramento RFT per i modelli Amazon Nova 2 Understanding.

Formato dei dati

I dati di formazione RFT seguono il formato OpenAI Reinforcement. Fine-Tuning https://developers.openai.com/api/docs/guides/reinforcement-fine-tuning#prepare-your-dataset Ogni riga del file di training JSONL è un oggetto JSON con i seguenti campi di primo livello. Espandi una sezione per saperne di più:

"messages": [
    {
        "role": "system",
        "content": "instructions"
    },
    {
        "role": "user",
        "content": "prompt"
    }
]

"reference_answer": {
    "field": "value"
}

"tools": [
    {
        "type": "function",
        "function": {
            "name": "tool-name",
            "description": "tool-description",
            "parameters": { ... }
        }
    }
]

Convalida dei dati

Prima di inviare il lavoro di formazione, convalida il set di dati per individuare tempestivamente i problemi di formattazione. Per gli strumenti di convalida disponibili, vedere. Strumenti di convalida

Input di esempio

Di seguito sono riportati esempi completi di oggetti JSON che mostrano come combinare i campi per diversi casi d'uso di RFT.

Funzionalità supportate

La tabella seguente riassume il supporto delle funzionalità per RFT su Amazon Nova 2.

General/Text comprensione

Questa sezione riassume i vincoli generali e le migliori pratiche per la preparazione dei dati di addestramento RFT su Amazon Nova 2.

Vincoli

Best practice

Esempio di input

{
    "id": "math-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a math tutor"
        },
        {
            "role": "user",
            "content": "Solve: 2x + 5 = 13"
        }
    ],
    "reference_answer": {
        "solution": "x = 4",
        "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
    }
}

Chiamata tramite strumento

RFT supporta i modelli di addestramento sui modelli di chiamata degli strumenti, consentendo al modello di apprendere quando e come richiamare strumenti o funzioni esterni.

Vincoli

Best practice

Esempio di input

{
    "id": "tool-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful game master assistant"
        },
        {
            "role": "user",
            "content": "Generate a strength stat for a warrior character. Apply a +2 racial bonus modifier."
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": "StatRollAPI",
                "description": "Generates character stats by rolling 4d6, dropping the lowest die result, and applying a modifier.",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "modifier": {
                            "description": "An integer representing the modifier to apply to the total of the stat roll.",
                            "type": "integer"
                        }
                    },
                    "required": ["modifier"]
                }
            }
        }
    ],
    "reference_answer": {
        "tool_called": "StatRollAPI",
        "tool_parameters": {
            "modifier": 2
        },
        "expected_behavior": "Call StatRollAPI with modifier=2 and return the calculated stat value"
    }
}

Ragionamento

RFT su Amazon Nova 2 supporta la modalità di ragionamento, in cui il modello genera segnali di pensiero espliciti prima di produrre una risposta definitiva. Puoi controllare il comportamento di ragionamento durante l'allenamento con il campo di configurazione dell'allenamento. reasoning_effort

Vincoli

Quando usare ciascuna modalità

Usa il high ragionamento per:

Usa none (ometti) il nostro reasoning_effort ragionamento per: low

Compromessi in termini di costi e prestazioni

Le modalità di ragionamento più elevate aumentano:

Caratteristiche dei dati di addestramento efficaci

Chiarezza e coerenza

I buoni esempi di RFT richiedono dati di input chiari e inequivocabili che consentano un calcolo accurato delle ricompense tra i diversi output del modello. Evita il rumore nei tuoi dati, tra cui:

Qualsiasi ambiguità indurrà in errore il processo di formazione e farà sì che il modello apprenda comportamenti non intenzionali.

Diversità

Il tuo set di dati dovrebbe cogliere l'intera diversità dei casi d'uso in produzione per garantire solide prestazioni nel mondo reale. Includi:

Considerazioni sulla funzione di ricompensa

Progetta la tua funzione di ricompensa per un allenamento efficiente:

Le funzioni di ricompensa veloci e scalabili consentono un'iterazione rapida e una sperimentazione conveniente.

Formazione RFT utilizzando LLM come giudice

Panoramica di

I Large Language Models (LLM) vengono sempre più utilizzati come giudici nei flussi di lavoro RFT (Reinforcement Fine Tuning), che forniscono segnali di ricompensa automatici che guidano l'ottimizzazione dei modelli. In questo approccio, un LLM valuta i risultati del modello in base a criteri specifici, che si tratti di correttezza, qualità, aderenza stilistica o equivalenza semantica, e assegna ricompense che guidano il processo di reinforcement learning.

Ciò è particolarmente utile per le attività in cui le tradizionali funzioni di ricompensa sono difficili da definire programmaticamente, come determinare se rappresentazioni diverse (come "1/3«, «0,333" e «un terzo») sono semanticamente equivalenti o valutare qualità sfumate come coerenza e pertinenza. Utilizzando LLM-based i giudici come funzioni di ricompensa, è possibile adattare RFT a domini complessi senza richiedere un'ampia annotazione umana, consentendo una rapida iterazione e un miglioramento continuo dei modelli in diversi casi d'uso oltre ai tradizionali problemi di allineamento.

Convalida del tuo giudice LLM

Prima di implementarne uno LLM-as-a-judge in produzione, verificate che le valutazioni del modello di giudice siano in linea con il giudizio umano. Questa operazione prevede:

Questa fase di convalida aiuta a garantire che il processo di valutazione automatizzato produca modelli che soddisfano i criteri di qualità della produzione.

Configurazione Lambda per il giudice LLM

L'utilizzo di un LLM come giudice è un'estensione dell'uso delle funzioni Lambda per il Reinforcement Learning with Verifiable Rewards (RLVR). All'interno della funzione Lambda, effettui una chiamata a uno dei modelli ospitati in Amazon Bedrock.

Requisiti di configurazione importanti: