Beispiele für Bewertungsrezepte

Diese Rezepte ermöglichen es Ihnen, die grundlegenden Funktionen von Amazon-Nova-Modellen anhand einer umfassenden Suite von reinen Text-Benchmarks zu bewerten. Sie werden im Format xxx_general_text_benchmark_eval.yaml bereitgestellt.

Diese Rezepte ermöglichen es Ihnen, Ihren eigenen Datensatz für das Benchmarking zu verwenden und die Modellergebnisse anhand verschiedener Arten von Metriken mit Referenzantworten zu vergleichen. Sie werden im Format xxx_bring_your_own_dataset_eval.yaml bereitgestellt.

Im Folgenden sind die Anforderungen für die Verwendung Ihres eigenen Datensatzes aufgeführt:

Hier ein Beispieleintrag zur Verwendung des eigenen Datensatzes

{
   "system":"You are a english major with top marks in class who likes to give minimal word responses: ",
   "query":"What is the symbol that ends the sentence as a question",
   "response":"?"
}
{
   "system":"You are a pattern analysis specialist that provides succinct answers: ",
   "query":"What is the next number in this series? 1, 2, 4, 8, 16, ?",
   "response":"32"
}
{
   "system":"You have great attention to detail that follows instructions accurately: ",
   "query":"Repeat only the last two words of the following: I ate a hamburger today and it was kind of dry",
   "response":"of dry"
}

Um Ihren benutzerdefinierten Datensatz zu verwenden, ändern Sie Ihr Bewertungsrezept mit den folgenden Pflichtfeldern, verändern Sie jedoch nicht den Inhalt:

evaluation:
  task: gen_qa
  strategy: gen_qa
  metric: all

Die folgenden Einschränkungen gelten:

Amazon Nova LLM-as-a-Judge ist eine Modellbewertungsfunktion, mit der Kunden die Qualität der Antworten eines Modells mit einer Antwort aus einem Basismodell anhand eines benutzerdefinierten Datensatzes vergleichen können. Es nimmt einen Datensatz mit Prompts, Baseline-Antworten und Challenger-Antworten auf und verwendet ein Amazon Nova Judge-Modell, um anhand von paarweisen Vergleichen eine Gewinnraten-Metrik zu erstellen, die auf der Bradley-Terry Wahrscheinlichkeit basiert.

Die Rezepte werden im Format xxx_llm_judge_eval.yaml bereitgestellt.

Dies sind die Anforderungen für LLM-as-a-Judge:

Hier ein Beispieleintrag für LLM-as-a-Judge

{
"prompt": "What is the most effective way to combat climate change?",
"response_A": "The most effective way to combat climate change is through a combination of transitioning to renewable energy sources and implementing strict carbon pricing policies. This creates economic incentives for businesses to reduce emissions while promoting clean energy adoption.",
"response_B": "We should focus on renewable energy. Solar and wind power are good. People should drive electric cars. Companies need to pollute less."
}
{
"prompt": "Explain how a computer's CPU works",
"response_A": "CPU is like brain of computer. It does math and makes computer work fast. Has lots of tiny parts inside.",
"response_B": "A CPU (Central Processing Unit) functions through a fetch-execute cycle, where instructions are retrieved from memory, decoded, and executed through its arithmetic logic unit (ALU). It coordinates with cache memory and registers to process data efficiently using binary operations."
}
{
"prompt": "How does photosynthesis work?",
"response_A": "Plants do photosynthesis to make food. They use sunlight and water. It happens in leaves.",
"response_B": "Photosynthesis is a complex biochemical process where plants convert light energy into chemical energy. They utilize chlorophyll to absorb sunlight, combining CO2 and water to produce glucose and oxygen through a series of chemical reactions in chloroplasts."
}

Um Ihren benutzerdefinierten Datensatz zu verwenden, ändern Sie Ihr Bewertungsrezept mit den folgenden Pflichtfeldern, verändern Sie jedoch nicht den Inhalt:

evaluation:
  task: llm_judge
  strategy: judge
  metric: all

Die folgenden Einschränkungen gelten:

Nova LLM Judge for Multimodal (Bild), kurz für Amazon Nova MM_LLM Judge, ist eine Funktion zur Modellbewertung, mit der Sie die Qualität der Antworten eines Modells anhand eines benutzerdefinierten Datensatzes mit den Antworten eines Basismodells vergleichen können. Es akzeptiert einen Datensatz, der Aufforderungen, Grundantworten und Antworten von Herausforderern sowie Bilder in Form einer Base64-encoded Zeichenfolge enthält, und verwendet dann ein Amazon Nova Judge-Modell, um eine Gewinnraten-Metrik bereitzustellen, die auf der Bradley-Terry Wahrscheinlichkeit durch paarweise Vergleiche basiert. Rezeptformat: xxx_mm_llm_judge _eval.yaml.

Anforderungen an den Nova-LLM-Datensatz

Dateiformat:

Schemaformat – Jede Zeile in der .jsonl-Datei muss ein JSON-Objekt mit den folgenden Feldern sein.

Beispieleintrag

Aus Gründen der Lesbarkeit enthält das folgende Beispiel neue Zeilen und Einrückungen, aber im eigentlichen Datensatz sollte sich jeder Datensatz in einer einzigen Zeile befinden.

{
  "prompt": "what is in the image?",
  "images": [
    {
      "data": "data:image/jpeg;Base64,/9j/2wBDAAQDAwQDAwQEAwQFBAQFBgo..."
    }
  ],
  "response_A": "a dog.",
  "response_B": "a cat.",
}
{
  "prompt": "how many animals in echo of the images?",
  "images": [
    {
      "data": "data:image/jpeg;Base64,/9j/2wBDAAQDAwQDAwQEAwQFBAQFBgo..."
    },
    {
      "data": "data:image/jpeg;Base64,/DKEafe3gihn..."
    }
  ],
  "response_A": "The first image contains one cat and the second image contains one dog",
  "response_B": "The first image has one aminal and the second has one animal",
}           

Um Ihren benutzerdefinierten Datensatz zu verwenden, ändern Sie Ihr Bewertungsrezept mit den folgenden Pflichtfeldern, verändern Sie jedoch nicht den Inhalt:

evaluation:
  task: mm_llm_judge
  strategy: judge
  metric: all

Einschränkungen

Rubrik Judge ist ein erweitertes LLM-as-a-judge Bewertungsmodell, das auf Amazon Nova 2.0 Lite basiert. Im Gegensatz zum ursprünglichen Richtermodell, das nur Präferenzurteile vorsieht (A>B, B>A oder Unentschieden), generiert Rubrik Judge dynamisch benutzerdefinierte Bewertungskriterien, die auf jede Aufforderung zugeschnitten sind, und weist detaillierte Bewertungen über mehrere Dimensionen zu.

Wichtigste Funktionen:

Beispielkriterium, das vom Modell generiert wurde:

price_validation:
  description: "The response includes validation to ensure price is a positive value."
  type: "scale"
  weight: 0.3

Das Modell bewertet beide Antworten anhand aller generierten Kriterien und verwendet dann diese Bewertungen auf Kriterienebene, um seine endgültige Präferenzentscheidung zu treffen.

Konfiguration des Rezepts

Rezept für Rubrik Judge

Aktiviere Rubrik Judge, indem task: rubric_llm_judge du in deinem Rezept Folgendes eingibst:

run:
  name: nova-eval-job-name                              # [MODIFIABLE] Unique identifier for your evaluation job
  model_type: amazon.nova-2-lite-v1:0:256k              # [FIXED] Rubric Judge model type
  model_name_or_path: "nova-lite-2/prod"                # [FIXED] Path to model checkpoint or identifier
  replicas: 1                                           # [MODIFIABLE] Number of replicas for SageMaker Training job
  data_s3_path: ""                                      # [FIXED] Leave empty for SageMaker Training job
  output_s3_path: ""                                    # [FIXED] Leave empty for SageMaker Training job

evaluation:
  task: rubric_llm_judge                                # [FIXED] Evaluation task - enables Rubric Judge
  strategy: judge                                       # [FIXED] Evaluation strategy
  metric: all                                           # [FIXED] Metric calculation method

inference:
  max_new_tokens: 12000                                 # [MODIFIABLE] Maximum tokens to generate
  top_k: -1                                             # [MODIFIABLE] Top-k sampling parameter
  top_p: 1.0                                            # [MODIFIABLE] Nucleus sampling parameter
  temperature: 0                                        # [MODIFIABLE] Sampling temperature (0 = deterministic)

Original LLM als Judge-Rezept (zum Vergleich)

Das ursprüngliche Judge-Modell verwendettask: llm_judge:

run:
  name: eval-job-name                                   # [MODIFIABLE] Unique identifier for your evaluation job
  model_type: amazon.nova-micro-v1:0:128k               # [FIXED] Model type
  model_name_or_path: "nova-micro/prod"                 # [FIXED] Path to model checkpoint or identifier
  replicas: 1                                           # [MODIFIABLE] Number of replicas for SageMaker Training job
  data_s3_path: ""                                      # [FIXED] Leave empty for SageMaker Training job
  output_s3_path: ""                                    # [FIXED] Leave empty for SageMaker Training job

evaluation:
  task: llm_judge                                       # [FIXED] Original judge task
  strategy: judge                                       # [FIXED] Evaluation strategy
  metric: all                                           # [FIXED] Metric calculation method

inference:
  max_new_tokens: 12000                                 # [MODIFIABLE] Maximum tokens to generate
  top_k: -1                                             # [MODIFIABLE] Top-k sampling parameter
  top_p: 1.0                                            # [MODIFIABLE] Nucleus sampling parameter
  temperature: 0                                        # [MODIFIABLE] Sampling temperature (0 = deterministic)

Format des Eingabedatensatzes

Das Format des Eingabedatensatzes ist identisch mit dem ursprünglichen Judge-Modell:

Erforderliche Felder:

Beispieldatensatz (JSONL-Format):

{"prompt": "What is the most effective way to combat climate change?", "response_A": "The most effective way to combat climate change is through a combination of transitioning to renewable energy sources and implementing strict carbon pricing policies. This creates economic incentives for businesses to reduce emissions while promoting clean energy adoption.", "response_B": "We should focus on renewable energy. Solar and wind power are good. People should drive electric cars. Companies need to pollute less."}
{"prompt": "Explain how a computer's CPU works", "response_A": "CPU is like brain of computer. It does math and makes computer work fast. Has lots of tiny parts inside.", "response_B": "A CPU (Central Processing Unit) functions through a fetch-execute cycle, where instructions are retrieved from memory, decoded, and executed through its arithmetic logic unit (ALU). It coordinates with cache memory and registers to process data efficiently using binary operations."}
{"prompt": "How does photosynthesis work?", "response_A": "Plants do photosynthesis to make food. They use sunlight and water. It happens in leaves.", "response_B": "Photosynthesis is a complex biochemical process where plants convert light energy into chemical energy. They utilize chlorophyll to absorb sunlight, combining CO2 and water to produce glucose and oxygen through a series of chemical reactions in chloroplasts."}

Anforderungen an das Format:

Ergebnis der Bewertung

Struktur der Ausgabe

Rubrik Judge bietet im Vergleich zum ursprünglichen Judge-Modell verbesserte Bewertungskennzahlen:

{
  "config_general": {
    "lighteval_sha": "string",
    "num_fewshot_seeds": "int",
    "max_samples": "int | null",
    "job_id": "int",
    "start_time": "float",
    "end_time": "float",
    "total_evaluation_time_secondes": "string",
    "model_name": "string",
    "model_sha": "string",
    "model_dtype": "string | null",
    "model_size": "string"
  },
  "results": {
    "custom|rubric_llm_judge_judge|0": {
      "a_scores": "float",
      "a_scores_stderr": "float",
      "b_scores": "float",
      "b_scores_stderr": "float",
      "ties": "float",
      "ties_stderr": "float",
      "inference_error": "float",
      "inference_error_stderr": "float",
      "score": "float",
      "score_stderr": "float",
      "weighted_score_A": "float",
      "weighted_score_A_stderr": "float",
      "weighted_score_B": "float",
      "weighted_score_B_stderr": "float",
      "score_margin": "float",
      "score_margin_stderr": "float",
      "winrate": "float",
      "lower_rate": "float",
      "upper_rate": "float"
    }
  },
  "versions": {
    "custom|rubric_llm_judge_judge|0": "int"
  }
}

Neue Metriken in Rubrik Judge

Die folgenden sechs Metriken gelten nur für Rubrik Judge und ermöglichen eine detaillierte Qualitätsbeurteilung:

Grundlegendes zu gewichteten Bewertungsmetriken

Zweck: Gewichtete Werte liefern kontinuierliche Qualitätsmessungen, die binäre Präferenzurteile ergänzen und tiefere Einblicke in die Modellleistung ermöglichen.

Die wichtigsten Unterschiede zum ursprünglichen Richter:

Interpretation von score_margin:

Anwendungsfälle:

Berechnungsmethodik

Die gewichteten Ergebnisse werden nach dem folgenden Verfahren berechnet:

Beispiel: Wenn Antwort_A eine gewichtete Summe von 0,65 und Antwort_B 0,78 hat, score_margin wäre dies -0,13, was bedeutet, dass Antwort_B bei allen gewichteten Kriterien eine um 13 Prozentpunkte höhere Qualität aufweist.

Unterstützung von Argumentationsmodellen

Die Unterstützung von Argumentationsmodellen ermöglicht die Evaluierung anhand von Amazon Nova-Modellen, die explizite interne Überlegungen durchführen, bevor endgültige Antworten generiert werden. Diese Funktion nutzt die API-level Steuerung über den reasoning_effort Parameter, um die Argumentationsfunktion dynamisch zu aktivieren oder zu deaktivieren, wodurch möglicherweise die Antwortqualität bei komplexen analytischen Aufgaben verbessert wird.

Unterstützte Modelle:

Konfiguration des Rezepts

Aktiviere das Denken, indem du den reasoning_effort Parameter zum inference Abschnitt deines Rezepts hinzufügst:

run:
  name: eval-job-name                                    # [MODIFIABLE] Unique identifier for your evaluation job
  model_type: amazon.nova-2-lite-v1:0:256k               # [FIXED] Must be a reasoning-supported model
  model_name_or_path: nova-lite-2/prod                   # [FIXED] Path to model checkpoint or identifier
  replicas: 1                                            # [MODIFIABLE] Number of replicas for SageMaker Training job
  data_s3_path: ""                                       # [MODIFIABLE] Leave empty for SageMaker Training job; optional for SageMaker  SageMaker HyperPod  job
  output_s3_path: ""                                     # [MODIFIABLE] Output path for SageMaker  SageMaker HyperPod  job (not compatible with SageMaker Training jobs)

evaluation:
  task: mmlu                                             # [MODIFIABLE] Evaluation task
  strategy: generate                                     # [MODIFIABLE] Evaluation strategy
  metric: all                                            # [MODIFIABLE] Metric calculation method

inference:
  reasoning_effort: high                                 # [MODIFIABLE] Enables reasoning mode; options: low/medium/high or null to disable
  max_new_tokens: 200                                    # [MODIFIABLE] Maximum tokens to generate
  top_k: 50                                              # [MODIFIABLE] Top-k sampling parameter
  top_p: 1.0                                             # [MODIFIABLE] Nucleus sampling parameter
  temperature: 0                                         # [MODIFIABLE] Sampling temperature (0 = deterministic)

Verwenden Sie den Parameter reasoning_effort

Der reasoning_effort Parameter steuert das Argumentationsverhalten für Modelle, die zum Denken fähig sind.

Voraussetzungen:

Verfügbare Optionen:

Wann sollte das Denken aktiviert werden

Verwenden Sie den Argumentationsmodus (lowmedium, oderhigh) für:

Verwenden Sie den Modus ohne Argumentation (Parameter weglassen) für:

Fehlerbehebung

Fehler: „Der Denkmodus ist aktiviert, aber das Modell unterstützt das Denken nicht“

Ursache: Der reasoning_effort Parameter ist auf einen Wert ungleich Null gesetzt, aber der angegebene Wert unterstützt model_type keine Argumentation.

Auflösung