Daten für RFT auf Amazon Nova 2 vorbereiten

RFT auf Amazon Nova 2 unterstützt derzeit textbasierte Trainingsdaten. Auf dieser Seite werden das Datenformat, die unterstützten Funktionen, Einschränkungen und bewährten Methoden für die Vorbereitung von RFT-Trainingsdaten für Amazon Nova 2 Understanding Modelle beschrieben.

Data format (Datenformat)

Die RFT-Trainingsdaten folgen dem OpenAI Reinforcement Fine-Tuning Format. Jede Zeile in Ihrer JSONL-Trainingsdatei ist ein JSON-Objekt mit den folgenden Feldern der obersten Ebene. Erweitern Sie einen Abschnitt, um mehr zu erfahren:

"messages": [
    {
        "role": "system",
        "content": "instructions"
    },
    {
        "role": "user",
        "content": "prompt"
    }
]

"reference_answer": {
    "field": "value"
}

"tools": [
    {
        "type": "function",
        "function": {
            "name": "tool-name",
            "description": "tool-description",
            "parameters": { ... }
        }
    }
]

Validierung Ihrer Daten

Bevor Sie Ihren Trainingsjob einreichen, validieren Sie Ihren Datensatz, um Formatierungsprobleme frühzeitig zu erkennen. Verfügbare Validierungstools finden Sie unterTools zur Validierung.

Beispiele für Eingaben

Im Folgenden finden Sie vollständige JSON-Beispielobjekte, die zeigen, wie die Felder für verschiedene RFT-Anwendungsfälle kombiniert werden.

Unterstützte Features

Die folgende Tabelle fasst die Funktionsunterstützung für RFT auf Amazon Nova 2 zusammen.

General/Text Verständnis

In diesem Abschnitt werden die allgemeinen Einschränkungen und bewährten Methoden für die Vorbereitung von RFT auf Amazon Nova 2-Trainingsdaten zusammengefasst.

Beschränkungen

Bewährte Methoden

Stichprobeneingabe

{
    "id": "math-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a math tutor"
        },
        {
            "role": "user",
            "content": "Solve: 2x + 5 = 13"
        }
    ],
    "reference_answer": {
        "solution": "x = 4",
        "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
    }
}

Aufrufen eines Werkzeugs

RFT unterstützt Trainingsmodelle anhand von Werkzeugaufrufmustern, sodass Ihr Modell lernen kann, wann und wie externe Tools oder Funktionen aufgerufen werden müssen.

Beschränkungen

Bewährte Methoden

Beispiel für eine Eingabe

{
    "id": "tool-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful game master assistant"
        },
        {
            "role": "user",
            "content": "Generate a strength stat for a warrior character. Apply a +2 racial bonus modifier."
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": "StatRollAPI",
                "description": "Generates character stats by rolling 4d6, dropping the lowest die result, and applying a modifier.",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "modifier": {
                            "description": "An integer representing the modifier to apply to the total of the stat roll.",
                            "type": "integer"
                        }
                    },
                    "required": ["modifier"]
                }
            }
        }
    ],
    "reference_answer": {
        "tool_called": "StatRollAPI",
        "tool_parameters": {
            "modifier": 2
        },
        "expected_behavior": "Call StatRollAPI with modifier=2 and return the calculated stat value"
    }
}

Reasoning

RFT auf Amazon Nova 2 unterstützt den Argumentationsmodus, bei dem das Modell explizite Denkmuster generiert, bevor es eine endgültige Antwort liefert. Sie steuern das Denkverhalten während des Trainings mit dem Feld reasoning_effort Trainingskonfiguration.

Beschränkungen

Wann sollten die einzelnen Modi verwendet werden

Nutze high Gründe für:

Verwende none (weglassenreasoning_effort) oder low begründe für:

Kosten- und Leistungskompromisse

Höhere Denkweisen nehmen zu:

Eigenschaften effektiver Trainingsdaten

Klarheit und Konsistenz

Gute RFT-Beispiele erfordern klare, eindeutige Eingabedaten, die eine genaue Berechnung der Belohnung für verschiedene Modellausgaben ermöglichen. Vermeiden Sie Störungen in Ihren Daten, einschließlich:

Jede Unklarheit führt zu einer Irreführung des Trainingsprozesses und führt dazu, dass das Modell unbeabsichtigte Verhaltensweisen erlernt.

Diversität

Ihr Datensatz sollte die gesamte Vielfalt der Anwendungsfälle in der Produktion erfassen, um eine robuste Leistung in der Praxis zu gewährleisten. Schließen Sie ein:

Überlegungen zur Belohnungsfunktion

Gestalte deine Belohnungsfunktion für effizientes Training:

Schnelle, skalierbare Belohnungsfunktionen ermöglichen eine schnelle Iteration und kostengünstiges Experimentieren.

RFT-Training mit LLM als Richter

-Übersicht

Large Language Models (LLMs) werden zunehmend als Juroren in Arbeitsabläufen zur Verstärkung der Feinabstimmung (RFT) eingesetzt. Sie liefern automatische Belohnungssignale, die als Richtschnur für die Modelloptimierung dienen. Bei diesem Ansatz bewertet ein LLM die Modellergebnisse anhand bestimmter Kriterien — ob es nun um die Bewertung von Korrektheit, Qualität, Stiltreue oder semantischer Äquivalenz geht — und weist Belohnungen zu, die den Prozess des Verstärkungslernens vorantreiben.

Dies ist besonders nützlich für Aufgaben, bei denen traditionelle Belohnungsfunktionen programmatisch schwer zu definieren sind, z. B. bei der Bestimmung, ob verschiedene Repräsentationen (wie "1/3„, „0,333" und „ein Drittel“) semantisch gleichwertig sind, oder bei der Bewertung nuancierter Eigenschaften wie Kohärenz und Relevanz. Durch die Verwendung von LLM-based Richtern als Belohnungsfunktionen können Sie RFT auf komplexe Bereiche skalieren, ohne dass umfangreiche menschliche Anmerkungen erforderlich sind. Dies ermöglicht eine schnelle Iteration und kontinuierliche Verbesserung Ihrer Modelle in verschiedenen Anwendungsfällen, die über herkömmliche Alignment-Probleme hinausgehen.

Validierung Ihres LLM-Richters

Prüfen Sie vor dem Einsatz eines Jurymodells LLM-as-a-judge in der Produktion, ob die Bewertungen des Richtermodells dem menschlichen Urteilsvermögen entsprechen. Dies beinhaltet:

Dieser Validierungsschritt trägt dazu bei, dass der automatisierte Bewertungsprozess Modelle hervorbringt, die Ihre Qualitätskriterien für die Produktion erfüllen.

Lambda-Konfiguration für LLM Judge

Die Verwendung eines LLM als Judge ist eine Erweiterung der Lambda-Funktionen für Reinforcement Learning with Verifiable Rewards (RLVR). In der Lambda-Funktion rufen Sie eines der in Amazon Bedrock gehosteten Modelle auf.

Wichtige Konfigurationsanforderungen: