Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bewertung des Modells

Bei der Evaluierung wird Ihr Agent anhand einer Reihe von Eingabeaufforderungen ausgeführt und es werden Kennzahlen zur Prämie, zum Bestehen und zur Trajektorie gemeldet. @k Verwenden Sie es, um ein fein abgestimmtes Modell mit seinem Basismodell zu vergleichen oder einen Kandidaten vor der Implementierung zu bewerten.

Hinweis: Bewertungsjobs verwenden JobCategory: AgentRFTEvaluation (nicht AgentRFT wie bei Schulungen). Verwenden Sie diese Kategorie bei Evaluierungsjobs CreateJob und DescribeJob ruft dazu auf.

Vorbereitung der Bewertungsdaten

Bewertungsdatensätze verwenden dasselbe Format und Schema wie Trainingsdatensätze. Siehe Promptes Datensatzformat. Die folgenden Leitlinien sind evaluationsspezifisch.

Starten eines Evaluierungsauftrags

Evaluieren Sie Ihr Modell nach Abschluss des Trainings mit einer der folgenden Methoden.

SageMaker AI Studio

SageMaker KI-Python-SDK

Das MultiTurnRLEvaluator bietet eine übergeordnete Schnittstelle zum Starten von Evaluierungsjobs. Wenn Sie einen abgeschlossenen Trainer bestehen, löst der Evaluator automatisch den Modellpaket-ARN, die Agentenkonfiguration und den Agentenqualifizierer auf.

Evaluieren Sie ein fein abgestimmtes Modell

from sagemaker.train.evaluate import MultiTurnRLEvaluator
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

# Attach to a completed training job
trainer = MultiTurnRLTrainer.attach(job_name="my-mtrl-job-20260512082005")

# Minimal evaluator — everything else inferred from trainer
evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/",
)

execution = evaluator.evaluate()
print(f"Evaluation started: {execution.arn}")

# Wait for completion
execution.wait()
print(f"Status: {execution.status.overall_status}")
print(f"S3 Output: {execution.s3_output_path}")
print(f"MLflow: {execution.mlflow_url}")

Evaluieren Sie ein Basismodell (kein Training)

Bei der direkten Evaluierung eines Basismodells agent_config ist Folgendes erforderlich, da es keinen Trainer gibt, von dem man erben könnte:

from sagemaker.train.evaluate import MultiTurnRLEvaluator

# With Bedrock AgentCore
evaluator_base = MultiTurnRLEvaluator(
    model="openai-reasoning-gpt-oss-20b",
    dataset="s3://my-bucket/eval-prompts.parquet",
    agent_config="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent",
    s3_output_path="s3://my-bucket/eval-output/base/",
    mlflow_resource_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-mlflow",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

execution = evaluator_base.evaluate()
execution.wait()

Side-by-side Vergleich (Basis- und Feinabstimmung)

Ein einziger evaluate() Aufruf, der sowohl das Basismodell als auch das fein abgestimmte Modell in einer Pipeline bewertet:

comparison_evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/comparison/",
    evaluate_base_model=True,
)

execution = comparison_evaluator.evaluate()
execution.wait()
print(f"Status: {execution.status.overall_status}")

Ergebnisse überwachen und abrufen

# Refresh status
execution.refresh()
print(f"Status: {execution.status.overall_status}")

# Step-level detail
for step in execution.status.step_details:
    print(f"  {step.name}: {step.status}")
    if step.job_arn:
        print(f"    Job ARN: {step.job_arn}")

# MLflow URL
print(f"MLflow: {execution.mlflow_url}")

AWS CLI und boto3

Sie können Evaluierungsjobs auch direkt über die CreateJob API erstellen.

Erstellen Sie einen Bewertungsjob (Bedrock AgentCore)

Um einen Evaluierungsjob zu erstellen, rufen Sie die CreateJob API mit der JobCategory Einstellung auf auf auf auf auf auf auf auf aufAgentRFTEvaluation. Die Einrichtung und Konfiguration von Agenten erfolgt nach demselben Verfahren wie bei Trainingsjobs.

AWS CLI verwenden

aws sagemaker create-job \
  --job-category AgentRFTEvaluation \
  --job-name "my-agent-rft-eval-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [{
      "ChannelName": "evaluation",
      "DataSource": {
        "S3DataSource": {
          "S3DataType": "S3Prefix",
          "S3Uri": "s3://your-bucket-name/eval-prompts/"
        }
      }
    }],
    "OutputDataConfig": {
      "S3OutputPath": "s3://your-bucket-name/eval-output/",
      "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
      }
    },
    "EvaluationConfig": {
      "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
      "AcceptEula": true,
      "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
    }
  }' \
  --region us-west-2

Verwenden des SageMaker KI-Python-SDK (boto3)

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [{
            "ChannelName": "evaluation",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket-name/eval-prompts/"
                }
            }
        }],
        "OutputDataConfig": {
            "S3OutputPath": "s3://your-bucket-name/eval-output/",
            "MlflowConfig": {
                "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
            }
        },
        "EvaluationConfig": {
            "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
            "AcceptEula": True,
            "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
        }
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Evaluierung eines fein abgestimmten Modells

Um ein Modell zu evaluieren, das im Rahmen einer Ausbildungsstelle erstellt wurde, muss Folgendes ModelPackageConfig mitgeliefert werden: InputModelPackageArn

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-finetuned",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {...},
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {
            "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/1"
        },
        "EvaluationConfig": {...}
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Erstellen Sie einen Evaluierungsjob (Benutzerdefinierter Agent mit Lambda Forwarder)

Verwenden Sie den gleichen Ansatz wie bei der AgentCore Bedrock-Bewertung, geben Sie jedoch Folgendes anCustomAgentLambdaConfig: AgentConfig

"AgentConfig": {
    "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
    }
}

Hyperparameter für die Bewertung

Überwachung der Bewertung

aws sagemaker describe-job \
  --job-name "my-agent-rft-eval-job" \
  --job-category AgentRFTEvaluation \
  --region us-west-2

Interpretation der Bewertungsergebnisse

Öffnen Sie Ihre MLflow App, um protokollierte Kennzahlen, Belohnungsverteilungen und Trajektorienvisualisierungen für den Bewertungslauf einzusehen. Im Folgenden wird erklärt, was die einzelnen Metriken bedeuten.

Kennzahlen belohnen (eval/reward/)

Token-Metriken (eval/tokens/)

Metriken anzeigen (/) eval/turns

Wahrscheinlichkeitsmetriken protokollieren (eval/logprob/)

Timing-Metriken (timing_s/)

Wie diagnostiziert man häufig auftretende Muster

Unformatierte Ergebnisse finden Sie in den Artefakten, die in den unter S3OutputPath angegebenen Code geschrieben wurdenOutputDataConfig.

Beschränkt die & Quoten für die Evaluierung

Verwenden Sie AWS Servicekontingenten, um eine Erhöhung des Limits für die maximale Anzahl gleichzeitiger Evaluierungsjobs zu beantragen.