Evaluieren Sie Ihr SageMaker AI-trained Modell

Diese Rezepte ermöglichen es Ihnen, die grundlegenden Funktionen von Amazon-Nova-Modellen anhand einer umfassenden Suite von reinen Text-Benchmarks zu bewerten.

Rezeptformat: xxx_general_text_benchmark_eval.yaml.

Diese Rezepte ermöglichen es Ihnen, Ihren eigenen Datensatz für das Benchmarking zu verwenden und die Modellergebnisse anhand verschiedener Arten von Metriken mit Referenzantworten zu vergleichen.

Rezeptformat: xxx_ bring_your_own_dataset_eval.yaml.

Anforderungen für die Verwendung des eigenen Datensatzes

Dateiformat:

Anforderungen an das Schemaformat — Jede Zeile in der .jsonl Datei muss ein JSON-Objekt mit den folgenden Feldern sein.

Beispieleintrag

{
"system":"You are an English major with top marks in class who likes to give minimal word responses: ",
   "query":"What is the symbol that ends the sentence as a question",
   "response":"?"
}{
"system":"You are a pattern analysis specialist who provides succinct answers: ",
   "query":"What is the next number in this series? 1, 2, 4, 8, 16, ?",
   "response":"32"
}{
"system":"You have great attention to detail and follow instructions accurately: ",
   "query":"Repeat only the last two words of the following: I ate a hamburger today and it was kind of dry",
   "response":"of dry"
}{
"system": "Image inference: ",
  "query": "What is the number in the image? Please just use one English word to answer.",
  "response": "two",
  "images": [
    {
      "data": "data:image/png;Base64,iVBORw0KGgoA ..."
    }
  ]
}

Um Ihren benutzerdefinierten Datensatz zu verwenden, ändern Sie Ihr Bewertungsrezept, indem Sie die folgenden Pflichtfelder hinzufügen, ohne die bestehende Konfiguration zu ändern:

evaluation:
  task: gen_qa 
  strategy: gen_qa 
  metric: all

Einschränkungen

Bringen Sie Ihre eigenen Metriken mit

Sie können Ihre eigenen Metriken mitbringen, um Ihren Workflow zur Modellbewertung mit benutzerdefinierten Funktionen für die Vorverarbeitung, Nachverarbeitung und Metriken vollständig anzupassen. Durch die Vorverarbeitung können Sie Eingabedaten verarbeiten, bevor Sie sie an den Inferenzserver senden. Mit der Nachverarbeitung können Sie die Berechnung der Metriken anpassen und benutzerdefinierte Metriken an Ihre Bedürfnisse anpassen.

Folgen Sie diesen Schritten, um Ihre eigenen Metriken mit benutzerdefiniertem Bewertungs-SDK bereitzustellen.

Einschränkungen

Nova LLM Judge ist eine Modellbewertungsfunktion, mit der Sie die Qualität der Antworten eines Modells mit den Antworten eines Basismodells anhand eines benutzerdefinierten Datensatzes vergleichen können. Es akzeptiert einen Datensatz, der Aufforderungen, Ausgangsantworten und Antworten des Herausforderers enthält, und verwendet dann ein Nova Judge-Modell, um anhand von paarweisen Vergleichen eine Metrik zur Gewinnrate zu ermitteln, die auf der Bradley-Terry Wahrscheinlichkeit basiert. Rezeptformat: xxx_llm_judge_eval.yaml.

Anforderungen an den Nova-LLM-Datensatz

Dateiformat:

Schemaformat – Jede Zeile in der .jsonl-Datei muss ein JSON-Objekt mit den folgenden Feldern sein.

Beispieleintrag

{
"prompt": "What is the most effective way to combat climate change?",
"response_A": "The most effective way to combat climate change is through a combination of transitioning to renewable energy sources and implementing strict carbon pricing policies. This creates economic incentives for businesses to reduce emissions while promoting clean energy adoption.",
"response_B": "We should focus on renewable energy. Solar and wind power are good. People should drive electric cars. Companies need to pollute less."
}
{
"prompt": "Explain how a computer's CPU works",
"response_A": "CPU is like brain of computer. It does math and makes computer work fast. Has lots of tiny parts inside.",
"response_B": "A CPU (Central Processing Unit) functions through a fetch-execute cycle, where instructions are retrieved from memory, decoded, and executed through its arithmetic logic unit (ALU). It coordinates with cache memory and registers to process data efficiently using binary operations."
}
{
"prompt": "How does photosynthesis work?",
"response_A": "Plants do photosynthesis to make food. They use sunlight and water. It happens in leaves.",
"response_B": "Photosynthesis is a complex biochemical process where plants convert light energy into chemical energy. They utilize chlorophyll to absorb sunlight, combining CO2 and water to produce glucose and oxygen through a series of chemical reactions in chloroplasts."
}           

Um Ihren benutzerdefinierten Datensatz zu verwenden, ändern Sie Ihr Bewertungsrezept mit den folgenden Pflichtfeldern, verändern Sie jedoch nicht den Inhalt:

evaluation:
  task: llm_judge
  strategy: judge
  metric: all

Einschränkungen

Nova LLM als Jurorin für multimodale (Bild-) Benchmark-Rezepte

Nova LLM Judge for Multimodal (Bild), kurz für Nova MM_LLM Judge, ist eine Funktion zur Modellbewertung, mit der Sie die Qualität der Antworten eines Modells anhand eines benutzerdefinierten Datensatzes mit den Antworten eines Basismodells vergleichen können. Es akzeptiert einen Datensatz, der Prompts, Baseline-Antworten und Challenger-Antworten sowie Bilder in Form einer Base64-encoded Zeichenfolge enthält, und verwendet dann ein Nova Judge-Modell, um anhand von paarweisen Vergleichen eine Gewinnraten-Metrik zu ermitteln, die auf der Wahrscheinlichkeit basiert. Bradley-Terry Rezeptformat: xxx_mm_llm_judge_eval.yaml.

Anforderungen an den Nova-LLM-Datensatz

Dateiformat:

Schemaformat – Jede Zeile in der .jsonl-Datei muss ein JSON-Objekt mit den folgenden Feldern sein.

Beispieleintrag

Aus Gründen der Lesbarkeit enthält das folgende Beispiel neue Zeilen und Einrückungen, aber im eigentlichen Datensatz sollte sich jeder Datensatz in einer einzigen Zeile befinden.

{
  "prompt": "What is in the image?",
  "images": [
    {
      "data": "data:image/jpeg;Base64,/9j/2wBDAAQDAwQDAwQEAwQFBAQFBgo..."
    }
  ],
  "response_A": "a dog.",
  "response_B": "a cat.",
} 
{
  "prompt": "How many animals are in each of the images?",
  "images": [
    {
      "data": "data:image/jpeg;Base64,/9j/2wBDAAQDAwQDAwQEAwQFBAQFBgo..."
    },
    {
      "data": "data:image/jpeg;Base64,/DKEafe3gihn..."
    }
  ],
  "response_A": "The first image contains one cat and the second image contains one dog",
  "response_B": "The first image has one aminal and the second has one animal"
}           

Um Ihren benutzerdefinierten Datensatz zu verwenden, ändern Sie Ihr Bewertungsrezept mit den folgenden Pflichtfeldern, verändern Sie jedoch nicht den Inhalt:

evaluation:
  task: mm_llm_judge
  strategy: judge
  metric: all

Einschränkungen

Die Evaluierung anhand von CPT-Modellen (kontinuierlich vortrainiert) kann eine größere Herausforderung darstellen als Modelle, die einer SFT (überwachtes Feintuning) unterzogen wurden, da CPT-Modelle regelmäßig nicht in der Lage sind, Anweisungen zu befolgen. Anstatt den Anweisungen zu folgen, arbeitet das CPT-Modell als Abschlussmodell, was bedeutet, dass sie nur versuchen, das mit der Eingabe-Token-Sequenz bereitgestellte Muster fortzusetzen. Angesichts dieser Einschränkung funktionieren typische Bewertungsdatensätze aufgrund des „Q & A“ -Formats der Eingaben möglicherweise nicht richtig. Anstatt die Frage zu beantworten, versucht das Modell einfach, mit derselben Frage fortzufahren. Indem wir Datensätze jedoch auf eine bestimmte Weise formatieren, um Modelle in einem Vervollständigungsstil zu veranlassen, können wir uns ein Bild von der Leistung des Modells machen.

Folgen Sie den folgenden Schritten, um zu verstehen, wie Sie mithilfe des Nova Forge-Evaluierungsworkflows eine Bewertung an einem kontinuierlichen, vortrainierten Modell durchführen.

Vorbereitung und Formatierung von Datensätzen

Bei der Evaluierung eines CPT-Modells wird der bereits bestehende Bring Your Own Dataset-Workflow genutzt, der bereits im Rahmen der Evaluierung von Nova Forge-Modellen bereitgestellt wurde. Abfragen innerhalb des Datensatzes müssen jedoch in einem reinen „Vervollständigungsformat“ formatiert werden, da CPT-Modelle nicht auf die gleiche Weise auf Standardfragen antworten wie ein SFT-Modell.

Eine weitere wichtige häufige Einschränkung von Modellen, die ausschließlich einer CPT unterzogen wurden, ist ihre Unfähigkeit, STOP- oder Sequenzend-Tokens zu generieren — das bedeutet, dass das Modell weiterhin Token generiert, bis es gewaltsam gestoppt wird (z. B. mit dem Parameter max_new_tokens). Angesichts dieser Einschränkung empfiehlt es sich, die Modelle anhand einzelner Token-Antworten (z. B. Multiple-Choice) zu bewerten, um sicherzustellen, dass das Modell nicht weiterhin Junk-Ausgaben generiert, die nach Aufforderung nicht benötigt werden.

Beispielsweise könnte ein typischer Bewertungsdatensatz (wie MMLU, GPQA, MATH usw.) dem Modell eine Frage aufwerfen wie:

Early settlements and high population density along coastlines and rivers are 
best attributed to which of the following?
A: "Poor climate conditions"
B: "Limited forest cover"
C: "Cars"
D: "Access to trade routes" 

(Expected answer is D.)

Ein CPT-Modell würde jedoch nicht verstehen, wie diese Frage richtig zu beantworten ist, da es an Feinabstimmung bei der Befolgung der Anweisungen mangelt. Daher müssen CPT-Modelle in einem Vervollständigungsstil abgefragt werden, wie zum Beispiel:

Early settlements and high population density along coastlines and rivers 
are best attributed to which of the following?
A: Poor climate conditions
B: Limited forest cover
C: Cars
D: Access to trade routes
The correct answer to this question is option 

(Expected answer is D.)

Nach der Inferenzüberprüfung liefern die vom Modell generierten Output-Logprobs Details darüber, ob das Modell die Eingabe korrekt verarbeitet und die richtige Antwort generiert hat. Es kann nicht garantiert werden, dass das Modell immer die erwartete exakte Antwort (in diesem Fall den Buchstaben D) liefert. Sie sollte jedoch in den Logprobs enthalten sein, wenn das Modell ordnungsgemäß funktioniert.

Ein weiteres Beispiel für eine Aufforderung im Stil der Vervollständigung ohne Mehrfachauswahl:

The capital of France is

(Expected answer of Paris)

Wir würden erwarten, dass das Modell entweder die Antwort „Paris“ ausgibt oder dass das Token, das „Paris“ entspricht, irgendwo in der Logprobs-Ausgabe erscheint.

Formatierung von Datensätzen

Die CPT-Bewertung nutzt den bestehenden Bring Your Own Dataset-Workflow. Die Daten müssen im Format „Query Response“ in einer JSONL-Datei formatiert werden, die durch neue Zeilen getrennt ist.

Ein Beispiel für einen Datensatz mit 4 Einträgen:

{"query": "The capital of France is", "response": "Paris"}
{"query": "2 + 2 =", "response": "4"}
{"query": "The mitochondria is the powerhouse of the", "response": "cell"}
{"query": "What is the largest planet?\nA: Mars\nB: Jupiter\nC: Saturn\nD: Earth\nAnswer:", "response": "B"}

Jede Zeile muss enthalten:

Das Model erhält Rohtexteingaben ohne Chat-Formatierung. CPT-Modelle sind in der Regel noch nicht mit speziellen Tokens trainiert und reagieren nicht richtig auf Chat-Vorlagen. Wenn also das Model dazu aufgefordert wird, wird NUR die in der Abfrage angegebene Zeichenfolge an das Model gesendet (wobei ihr automatisch ein zusätzliches [BOS] Token vorangestellt wird).

Konfiguration des Rezepts

Hier ist ein Beispiel für ein Rezept, das für die Bewertung eines CPT-Modells konfiguriert ist:

run:
  name: cpt_eval_job
  model_type: amazon.nova-2-lite-v1:0:256k
  model_name_or_path: s3://bucket/path/to/cpt-checkpoint/

evaluation:
  task: gen_qa  # Required for CPT - bring your own dataset
  strategy: gen_qa
  metric: all  # Returns rouge1, rouge2, rougeL, exact_match, f1_score, bleu

inference:
  checkpoint_is_instruction_tuned: "false"  # Required for CPT checkpoints
  top_logprobs: 5 # Change to desired amount of logprobs to calculate
  max_new_tokens: 1 # Keep low for completion tasks
  temperature: 0.0

Wichtige Änderungen für die CPT-Bewertung:

Hauptparameter