Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

RFT-Bewertung

Was ist eine RFT-Evaluierung?

Die RFT-Evaluierung ermöglicht es Ihnen, die Leistung Ihres Modells mithilfe benutzerdefinierter Belohnungsfunktionen vor, während oder nach dem Reinforcement-Learning-Training zu bewerten. Im Gegensatz zu Standardevaluationen, die vordefinierte Metriken verwenden, können Sie mit der RFT-Evaluierung Ihre eigenen Erfolgskriterien mithilfe einer Lambda-Funktion definieren, die die Modellergebnisse anhand Ihrer spezifischen Anforderungen bewertet.

Warum mit RFT evaluieren?

Die Bewertung ist entscheidend, um festzustellen, ob der RL-Feinabstimmungsprozess Folgendes beinhaltet:

Wann sollte die RFT-Evaluierung verwendet werden

Verwenden Sie die RFT-Evaluation in diesen Szenarien:

Datenformatanforderungen

Struktur der Eingabedaten

Die Eingabedaten der RFT-Evaluierung müssen dem OpenAI Reinforcement Fine-Tuning Format folgen. Jedes Beispiel ist ein JSON-Objekt, das Folgendes enthält:

Beispiel für ein Datenformat

{  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "type": "text",  
          "text": "Solve for x. Return only JSON like {\"x\": <number>}. Equation: 2x + 5 = 13"  
        }  
      ]  
    }  
  ],  
  "reference_answer": {  
    "x": 4  
  }  
}

Aktuelle Einschränkungen

Vorbereitung Ihres Bewertungsrezepts

Beispiel-Notebook

Ein vollständiges Beispiel finden Sie unter Evaluierungsnotizbücher.

Beispiel für eine Rezeptkonfiguration

run:  
  name: nova-lite-rft-eval-job    
  model_type: amazon.nova-lite-v1:0:300k    
  model_name_or_path: s3://escrow_bucket/model_location # [MODIFIABLE] S3 path to your model or model identifier  
  replicas: 1 # [MODIFIABLE] For SageMaker Training jobs only; fixed for HyperPod jobs  
  data_s3_path: "" # [REQUIRED FOR HYPERPOD] Leave empty for SageMaker Training jobs and use TrainingInput in SageMaker Python SDK  
  output_s3_path: "" # [REQUIRED] Output artifact S3 path for evaluation results  
  
evaluation:  
  task: rft_eval # [FIXED] Do not modify  
  strategy: rft_eval # [FIXED] Do not modify  
  metric: all # [FIXED] Do not modify  
  
# Inference Configuration  
inference:  
  max_new_tokens: 8192 # [MODIFIABLE] Maximum tokens to generate  
  top_k: -1 # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0 # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0 # [MODIFIABLE] Sampling temperature (0 = deterministic)  
  top_logprobs: 0 # [MODIFIABLE] Set between 1-20 to enable logprobs output  
  
# =============================================================================  
# Bring Your Own Reinforcement Learning Environment  
# =============================================================================  
rl_env:  
  reward_lambda_arn: arn:aws:lambda:<region>:<account_id>:function:<reward-function-name>

Voreingestellte Belohnungsfunktionen

Zwei voreingestellte Belohnungsfunktionen (prime_codeundprime_math) sind als Lambda-Layer für die einfache Integration in Ihre RFT-Lambda-Funktionen verfügbar.

-Übersicht

Diese voreingestellten Funktionen bieten sofort einsatzbereite Evaluierungsfunktionen für:

Quick Setup

prime_code-Funktion

Evaluiert Python-Codegenerierungsaufgaben, indem Code anhand von Testfällen ausgeführt und die Richtigkeit gemessen wird.

Beispiel für ein Eingabedatensatzformat

{"messages":[{"role":"user","content":"Write a function that returns the sum of two numbers."}],"reference_answer":{"inputs":["3\n5","10\n-2","0\n0"],"outputs":["8","8","0"]}}
{"messages":[{"role":"user","content":"Write a function to check if a number is even."}],"reference_answer":{"inputs":["4","7","0","-2"],"outputs":["True","False","True","True"]}}

Schlüssel-Features

prime_math-Funktion

Evaluiert mathematische Denk- und Problemlösungsfähigkeiten mit symbolischer mathematischer Unterstützung.

Eingabeformat

{"messages":[{"role":"user","content":"What is the derivative of x^2 + 3x?."}],"reference_answer":"2*x + 3"}

Schlüssel-Features

Datenformatanforderungen

Zur Code-Evaluierung

Zur mathematischen Bewertung

Bewährte Methoden

Fehlerbehandlung

Beide Funktionen beinhalten eine robuste Fehlerbehandlung für:

Erstellen Sie Ihre Belohnungsfunktion

Lambda-ARN-Anforderungen

Ihr Lambda-ARN muss diesem Format entsprechen:

"arn:aws:lambda:*:*:function:*SageMaker*"

Wenn das Lambda dieses Benennungsschema nicht hat, schlägt der Job mit diesem Fehler fehl:

[ERROR] Unexpected error: lambda_arn must contain one of: ['SageMaker', 'sagemaker', 'Sagemaker'] when running on SMHP platform (Key: lambda_arn)

Lambda-Anforderungsformat

Ihre Lambda-Funktion empfängt Daten in diesem Format:

[  
  {  
    "id": "sample-001",  
    "messages": [  
      {  
        "role": "user",  
        "content": [  
          {  
            "type": "text",  
            "text": "Do you have a dedicated security team?"  
          }  
        ]  
      },  
      {  
        "role": "nova_assistant",  
        "content": [  
          {  
            "type": "text",  
            "text": "As an AI developed by Company, I don't have a dedicated security team..."  
          }  
        ]  
      }  
    ],  
    "reference_answer": {  
      "compliant": "No",  
      "explanation": "As an AI developed by Company, I do not have a traditional security team..."  
    }  
  }  
]

Lambda-Antwortformat

Ihre Lambda-Funktion muss Daten in diesem Format zurückgeben:

[  
  {  
    "id": "sample-001",  
    "aggregate_reward_score": 0.75,  
    "metrics_list": [  
      {  
        "name": "accuracy",  
        "value": 0.85,  
        "type": "Metric"  
      },  
      {  
        "name": "fluency",  
        "value": 0.90,  
        "type": "Reward"  
      }  
    ]  
  }  
]

Antwortfelder

IAM-Berechtigungen

Erforderliche Berechtigungen

Ihre SageMaker Ausführungsrolle muss über Berechtigungen zum Aufrufen Ihrer Lambda-Funktion verfügen. Fügen Sie diese Richtlinie zu Ihrer SageMaker Ausführungsrolle hinzu:

{  
  "Version": "2012-10-17",  
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "lambda:InvokeFunction"  
      ],  
      "Resource": "arn:aws:lambda:region:account-id:function:function-name"  
    }  
  ]  
}

Lambda-Ausführungsrolle

Für die Ausführungsrolle Ihrer Lambda-Funktion sind grundlegende Lambda-Ausführungsberechtigungen erforderlich:

{  
  "Version": "2012-10-17",  
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "logs:CreateLogGroup",  
        "logs:CreateLogStream",  
        "logs:PutLogEvents"  
      ],  
      "Resource": "arn:aws:logs:*:*:*"  
    }  
  ]  
}

Wenn Ihre Lambda-Funktion auf andere AWS Dienste zugreift (z. B. S3 für Referenzdaten, DynamoDB für die Protokollierung), fügen Sie diese Berechtigungen der Lambda-Ausführungsrolle hinzu.

Den Evaluierungsjob ausführen

Evaluierungsergebnisse verstehen

Ausgabeformat

Der Evaluierungsauftrag gibt Ergebnisse im JSONL-Format an den von Ihnen angegebenen S3-Speicherort aus. Jede Zeile enthält die Bewertungsergebnisse für eine Stichprobe:

{  
  "id": "sample-001",  
  "aggregate_reward_score": 0.75,  
  "metrics_list": [  
    {  
      "name": "accuracy",  
      "value": 0.85,  
      "type": "Metric"  
    },  
    {  
      "name": "fluency",  
      "value": 0.90,  
      "type": "Reward"  
    }  
  ]  
}

Interpretation der Ergebnisse

Aggregierte Prämienpunktzahl

Individuelle Kennzahlen

Leistungs-Benchmarks

Was eine „gute“ Leistung ausmacht, hängt von Ihrem Anwendungsfall ab:

Fehlerbehebung

Häufige Probleme

Debug-Checkliste

Bewährte Methoden

Nächste Schritte

Nach Abschluss der RFT-Evaluierung: