Preparando dados para RFT no Amazon Nova 2

No momento, o RFT no Amazon Nova 2 oferece suporte a dados de treinamento baseados em texto. Esta página descreve o formato dos dados, recursos compatíveis, restrições e melhores práticas para preparar dados de treinamento de RFT para os modelos de compreensão do Amazon Nova 2.

Formato de dados

Os dados de treinamento do RFT seguem o formato de ajuste fino por reforço da OpenAI. Cada linha no arquivo de treinamento JSONL é um objeto JSON com os campos de nível superior a seguir. Expanda uma seção para saber mais:

"messages": [
    {
        "role": "system",
        "content": "instructions"
    },
    {
        "role": "user",
        "content": "prompt"
    }
]

"reference_answer": {
    "field": "value"
}

"tools": [
    {
        "type": "function",
        "function": {
            "name": "tool-name",
            "description": "tool-description",
            "parameters": { ... }
        }
    }
]

Validar seus dados

Antes de enviar sua tarefa de treinamento, valide seu conjunto de dados para detectar problemas de formatação com antecedência. Para obter as ferramentas de validação disponíveis, consulte Ferramentas de validação.

Exemplos de entrada

Veja a seguir exemplos completos de objetos JSON que mostram como combinar os campos para diferentes casos de uso de RFT.

Recursos compatíveis

A tabela a seguir resume o suporte de recursos para RFT no Amazon Nova 2.

Compreensão geral/de texto

Esta seção resume as restrições gerais e as melhores práticas para preparar o RFT nos dados de treinamento do Amazon Nova 2.

Restrições

Práticas recomendadas

Exemplo de entrada

{
    "id": "math-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a math tutor"
        },
        {
            "role": "user",
            "content": "Solve: 2x + 5 = 13"
        }
    ],
    "reference_answer": {
        "solution": "x = 4",
        "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
    }
}

Chamada de ferramentas

O RFT é compatível com modelos de treinamento em padrões de chamada de ferramentas, permitindo que seu modelo aprenda quando e como invocar ferramentas ou funções externas.

Restrições

Práticas recomendadas

Exemplo de entrada

{
    "id": "tool-001",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful game master assistant"
        },
        {
            "role": "user",
            "content": "Generate a strength stat for a warrior character. Apply a +2 racial bonus modifier."
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": "StatRollAPI",
                "description": "Generates character stats by rolling 4d6, dropping the lowest die result, and applying a modifier.",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "modifier": {
                            "description": "An integer representing the modifier to apply to the total of the stat roll.",
                            "type": "integer"
                        }
                    },
                    "required": ["modifier"]
                }
            }
        }
    ],
    "reference_answer": {
        "tool_called": "StatRollAPI",
        "tool_parameters": {
            "modifier": 2
        },
        "expected_behavior": "Call StatRollAPI with modifier=2 and return the calculated stat value"
    }
}

Reasoning

O RFT no Amazon Nova 2 oferece suporte ao modo de raciocínio, onde o modelo gera tokens de pensamento explícito antes de produzir uma resposta final. Você controla o comportamento do raciocínio durante o treinamento com o campo de configuração de treinamento reasoning_effort.

Restrições

Quando usar cada modo

Use o raciocínio high para:

Use none (omita reasoning_effort) ou raciocínio low para:

Compensações de custo e desempenho

Os modos de raciocínio mais altos aumentam:

Características dos dados de treinamento efetivos

Clareza e consistência

Bons exemplos de RFT exigem dados de entrada claros e inequívocos que permitam o cálculo preciso da recompensa em diferentes saídas do modelo. Evite ruídos em seus dados, incluindo:

Qualquer ambiguidade induzirá o processo de treinamento ao erro, fazendo com que o modelo aprenda comportamentos indesejados.

Diversidade

Seu conjunto de dados deve capturar toda a diversidade de casos de uso de produção para garantir um desempenho robusto no mundo real. Inclusão:

Considerações sobre a função de recompensa

Projete sua função de recompensa para um treinamento eficiente:

As funções de recompensa rápidas e escaláveis permitem uma iteração rápida e uma experimentação econômica.

Treinamento de RFT usando o LLM como avaliador

Visão geral

Os grandes modelos de linguagem (LLMs) estão sendo cada vez mais usados como avaliadores em fluxos de trabalho de ajuste fino por reforço (RFT), fornecendo sinais de recompensa automatizados que orientam a otimização do modelo. Nessa abordagem, um LLM avalia os resultados do modelo em relação a critérios específicos, seja avaliando a exatidão, a qualidade, a aderência ao estilo ou a equivalência semântica, e atribui recompensas que impulsionam o processo de aprendizado por reforço.

Isso é particularmente valioso para tarefas em que as funções de recompensa tradicionais são difíceis de definir de forma programática, como determinar se representações diferentes (como “1/3”, “0,333” e “um terço”) são semanticamente equivalentes, ou avaliar qualidades subjetivas, como coerência e relevância. Ao usar avaliadores baseados em LLM como funções de recompensa, você pode escalar o RFT para domínios complexos sem exigir anotações humanas extensivas, permitindo uma iteração rápida e a melhoria contínua de seus modelos em diversos casos de uso, além dos problemas tradicionais de alinhamento.

Validação do seu LLM como avaliador

Antes de implantar um LLM como avaliador na produção, valide se as avaliações do modelo do avaliador estão alinhadas com a avaliação humana. Isso envolve:

Essa etapa de validação ajuda a garantir que o processo de avaliação automatizado produza modelos que atendam aos seus critérios de qualidade de produção.

Configuração do Lambda para o LLM como avaliador

Usar um LLM como avaliador é uma extensão do uso das funções do Lambda para aprendizado por reforço com recompensas verificáveis (RLVR). Dentro da função do Lambda, você faz uma chamada para um dos modelos hospedados no Amazon Bedrock.

Requisitos de configuração importantes: