Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Évaluation de modèle

L'évaluation confronte votre agent à un ensemble rapide et indique les indicateurs de récompense, de pass @k et de trajectoire. Utilisez-le pour comparer un modèle affiné à sa base ou pour comparer un candidat avant le déploiement.

Remarque : Utilisation des tâches d'évaluation JobCategory: AgentRFTEvaluation (et non de celles utilisées dans le AgentRFT cadre de la formation). Utilisez cette catégorie pour CreateJob les DescribeJob appels à des tâches d'évaluation.

Préparation des données d'évaluation

Les ensembles de données d'évaluation utilisent le même format et le même schéma que les ensembles de données d'entraînement. Consultez Format de jeu de données rapide. Les directives ci-dessous sont spécifiques à l'égal.

Lancer une tâche d'évaluation

Une fois la formation terminée, évaluez votre modèle à l'aide de l'une des méthodes suivantes.

SageMaker Studio d'IA

SageMaker SDK Python pour IA

MultiTurnRLEvaluatorfournit une interface de haut niveau pour lancer des tâches d'évaluation. Lorsque vous réussissez un formateur terminé, l'évaluateur résout automatiquement l'ARN du package modèle, la configuration de l'agent et le qualificatif de l'agent.

Évaluer un modèle affiné

from sagemaker.train.evaluate import MultiTurnRLEvaluator
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

# Attach to a completed training job
trainer = MultiTurnRLTrainer.attach(job_name="my-mtrl-job-20260512082005")

# Minimal evaluator — everything else inferred from trainer
evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/",
)

execution = evaluator.evaluate()
print(f"Evaluation started: {execution.arn}")

# Wait for completion
execution.wait()
print(f"Status: {execution.status.overall_status}")
print(f"S3 Output: {execution.s3_output_path}")
print(f"MLflow: {execution.mlflow_url}")

Évaluer un modèle de base (aucune formation)

Lors de l'évaluation directe d'un modèle de base, cela agent_config est nécessaire car aucun formateur ne peut hériter de :

from sagemaker.train.evaluate import MultiTurnRLEvaluator

# With Bedrock AgentCore
evaluator_base = MultiTurnRLEvaluator(
    model="openai-reasoning-gpt-oss-20b",
    dataset="s3://my-bucket/eval-prompts.parquet",
    agent_config="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent",
    s3_output_path="s3://my-bucket/eval-output/base/",
    mlflow_resource_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-mlflow",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

execution = evaluator_base.evaluate()
execution.wait()

Side-by-side comparaison (de base ou affiné)

Un evaluate() appel unique qui évalue à la fois le modèle de base et le modèle affiné dans un seul pipeline :

comparison_evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/comparison/",
    evaluate_base_model=True,
)

execution = comparison_evaluator.evaluate()
execution.wait()
print(f"Status: {execution.status.overall_status}")

Surveiller et récupérer les résultats

# Refresh status
execution.refresh()
print(f"Status: {execution.status.overall_status}")

# Step-level detail
for step in execution.status.step_details:
    print(f"  {step.name}: {step.status}")
    if step.job_arn:
        print(f"    Job ARN: {step.job_arn}")

# MLflow URL
print(f"MLflow: {execution.mlflow_url}")

AWS CLI et boto3

Vous pouvez également créer des tâches d'évaluation directement à l'aide de l'CreateJobAPI.

Créer une tâche d'évaluation (Bedrock AgentCore)

Pour créer une tâche d'évaluation, appelez l'CreateJobAPI avec JobCategory set toAgentRFTEvaluation. L'installation et la configuration de l'agent suivent le même processus que les tâches de formation.

Utilisation de la AWS CLI

aws sagemaker create-job \
  --job-category AgentRFTEvaluation \
  --job-name "my-agent-rft-eval-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [{
      "ChannelName": "evaluation",
      "DataSource": {
        "S3DataSource": {
          "S3DataType": "S3Prefix",
          "S3Uri": "s3://your-bucket-name/eval-prompts/"
        }
      }
    }],
    "OutputDataConfig": {
      "S3OutputPath": "s3://your-bucket-name/eval-output/",
      "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
      }
    },
    "EvaluationConfig": {
      "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
      "AcceptEula": true,
      "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
    }
  }' \
  --region us-west-2

Utilisation du SDK SageMaker AI Python (boto3)

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [{
            "ChannelName": "evaluation",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket-name/eval-prompts/"
                }
            }
        }],
        "OutputDataConfig": {
            "S3OutputPath": "s3://your-bucket-name/eval-output/",
            "MlflowConfig": {
                "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
            }
        },
        "EvaluationConfig": {
            "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
            "AcceptEula": True,
            "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
        }
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Évaluation d'un modèle affiné

Pour évaluer un modèle produit par un poste de formation, joignez-le ModelPackageConfig aux documents InputModelPackageArn suivants :

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-finetuned",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {...},
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {
            "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/1"
        },
        "EvaluationConfig": {...}
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Création d'une tâche d'évaluation (agent personnalisé avec Lambda Forwarder)

Utilisez la même approche que l' AgentCore évaluation de Bedrock, mais précisez CustomAgentLambdaConfig dans le AgentConfig :

"AgentConfig": {
    "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
    }
}

Hyperparamètres d'évaluation

Suivi et évaluation

aws sagemaker describe-job \
  --job-name "my-agent-rft-eval-job" \
  --job-category AgentRFTEvaluation \
  --region us-west-2

Interprétation des résultats d'évaluation

Ouvrez votre application MLflow pour afficher les métriques enregistrées, les distributions de récompenses et les visualisations de trajectoire pour le cycle d'évaluation. Vous trouverez ci-dessous des explications sur la signification de chacun des indicateurs.

Indicateurs de récompenses (eval/reward/)

Métriques relatives aux jetons (eval/tokens/)

Indicateurs de rotation (eval/turns/)

Métriques de probabilité logarithmique (eval/logprob/)

Métriques de chronométrage (timing_s/)

Comment diagnostiquer les modèles courants

Pour obtenir des résultats bruts, passez en revue les artefacts écrits dans le S3OutputPath champ spécifié dansOutputDataConfig.

Limite & les quotas d'évaluation

Utilisez les quotas de AWS service pour demander une augmentation du nombre maximum de tâches d'évaluation simultanées.