Préparation des données pour la RFT sur Amazon Nova 2

RFT sur Amazon Nova 2 prend actuellement en charge les données d'entraînement textuelles. Cette page décrit le format de données, les fonctionnalités prises en charge, les contraintes et les meilleures pratiques pour préparer les données d'entraînement RFT pour les modèles Amazon Nova 2 Understanding.

Format de données

Les données d'entraînement RFT suivent le format OpenAI Fine-Tuning Reinforcment. Chaque ligne de votre fichier d'entraînement JSONL est un objet JSON avec les champs de niveau supérieur suivants. Développez une section pour en savoir plus :

"messages": [
    {
        "role": "system",
        "content": "instructions"
    },
    {
        "role": "user",
        "content": "prompt"
    }
]

"reference_answer": {
    "field": "value"
}

"tools": [
    {
        "type": "function",
        "function": {
            "name": "tool-name",
            "description": "tool-description",
            "parameters": { ... }
        }
    }
]

Validation de vos données

Avant de soumettre votre projet de formation, validez votre ensemble de données pour détecter rapidement les problèmes de mise en forme. Pour les outils de validation disponibles, consultezOutils de validation.

Entrées d'échantillons

Vous trouverez ci-dessous des exemples complets d'objets JSON illustrant comment combiner les champs pour différents cas d'utilisation de la technologie RFT.

Fonctionnalités prises en charge

Le tableau suivant récapitule les fonctionnalités prises en charge par RFT sur Amazon Nova 2.

General/Text compréhension

Cette section récapitule les contraintes générales et les meilleures pratiques relatives à la préparation des données d'entraînement RFT sur Amazon Nova 2.

Contraintes

Bonnes pratiques

Exemple d'entrée

{
    "id": "math-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a math tutor"
        },
        {
            "role": "user",
            "content": "Solve: 2x + 5 = 13"
        }
    ],
    "reference_answer": {
        "solution": "x = 4",
        "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
    }
}

Appel d'outils

RFT prend en charge les modèles d'entraînement sur les modèles d'appel d'outils, permettant à votre modèle d'apprendre quand et comment invoquer des outils ou des fonctions externes.

Contraintes

Bonnes pratiques

Exemple d'entrée

{
    "id": "tool-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful game master assistant"
        },
        {
            "role": "user",
            "content": "Generate a strength stat for a warrior character. Apply a +2 racial bonus modifier."
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": "StatRollAPI",
                "description": "Generates character stats by rolling 4d6, dropping the lowest die result, and applying a modifier.",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "modifier": {
                            "description": "An integer representing the modifier to apply to the total of the stat roll.",
                            "type": "integer"
                        }
                    },
                    "required": ["modifier"]
                }
            }
        }
    ],
    "reference_answer": {
        "tool_called": "StatRollAPI",
        "tool_parameters": {
            "modifier": 2
        },
        "expected_behavior": "Call StatRollAPI with modifier=2 and return the calculated stat value"
    }
}

Raisonnement

RFT sur Amazon Nova 2 prend en charge le mode raisonnement, dans lequel le modèle génère des jetons de réflexion explicites avant de produire une réponse finale. Vous contrôlez le comportement de raisonnement pendant l'entraînement à l'aide du champ de configuration de l'reasoning_effortentraînement.

Contraintes

Quand utiliser chaque mode

Utilisez high le raisonnement pour :

Utiliser none (omettrereasoning_effort) ou low justifier :

Compromis entre coûts et performances

Les modes de raisonnement supérieurs augmentent :

Caractéristiques des données d'entraînement efficaces

Clarté et cohérence

Les bons exemples de RFT nécessitent des données d'entrée claires et sans ambiguïté qui permettent un calcul précis des récompenses sur les différentes sorties du modèle. Évitez le bruit dans vos données, notamment :

Toute ambiguïté induira le processus de formation en erreur et amènera le modèle à apprendre des comportements imprévus.

Diversité

Votre ensemble de données doit capturer toute la diversité des cas d'utilisation en production afin de garantir des performances robustes dans le monde réel. Inclure :

Considérations relatives aux fonctions de récompense

Concevez votre fonction de récompense pour un entraînement efficace :

Les fonctions de récompense rapides et évolutives permettent une itération rapide et des expériences rentables.

Formation RFT utilisant LLM en tant que juge

Vue d’ensemble

Les grands modèles de langage (LLM) sont de plus en plus utilisés comme juges dans les flux de travail de réglage par renforcement (RFT), fournissant des signaux de récompense automatisés qui guident l'optimisation des modèles. Dans cette approche, un LLM évalue les résultats du modèle en fonction de critères spécifiques, qu'il s'agisse d'évaluer l'exactitude, la qualité, le respect du style ou l'équivalence sémantique, et attribue des récompenses qui stimulent le processus d'apprentissage par renforcement.

Cela est particulièrement utile pour les tâches pour lesquelles les fonctions de récompense traditionnelles sont difficiles à définir par programmation, par exemple pour déterminer si différentes représentations (comme « », 1/3 « 0,333 » et « tiers ») sont sémantiquement équivalentes, ou pour évaluer des qualités nuancées telles que la cohérence et la pertinence. En utilisant LLM-based les juges comme fonctions de récompense, vous pouvez adapter la RFT à des domaines complexes sans nécessiter d'annotations humaines approfondies, ce qui permet une itération rapide et une amélioration continue de vos modèles dans divers cas d'utilisation, au-delà des problèmes d'alignement traditionnels.

Validation de votre juge LLM

Avant de déployer un LLM-as-a-judge produit en production, vérifiez que les évaluations du modèle d'évaluation correspondent au jugement humain. Cela implique :

Cette étape de validation permet de garantir que le processus d'évaluation automatisé produira des modèles répondant à vos critères de qualité de production.

Configuration Lambda pour LLM Judge

L'utilisation d'un LLM en tant que juge est une extension de l'utilisation des fonctions Lambda pour l'apprentissage par renforcement avec récompenses vérifiables (RLVR). Dans la fonction Lambda, vous appelez l'un des modèles hébergés dans Amazon Bedrock.

Exigences de configuration importantes :