Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Valutazione del modello

Evaluation confronta l'agente in base a un set di prompt e riporta le metriche relative a reward, pass @k e traiectory. Usalo per confrontare un modello perfezionato con quello di base o per confrontare un candidato prima dell'implementazione.

Nota: utilizzo di lavori di valutazione JobCategory: AgentRFTEvaluation (diverso da AgentRFT quello utilizzato nella formazione). Utilizza questa categoria per DescribeJob le chiamate CreateJob e i lavori di valutazione.

Preparazione dei dati di valutazione

I set di dati di valutazione utilizzano lo stesso formato e lo stesso schema dei set di dati di addestramento. Per informazioni, consulta Formato rapido del set di dati. La guida riportata di seguito è specifica per eval.

Avvio di un lavoro di valutazione

Al termine della formazione, valutate il modello utilizzando uno dei seguenti metodi.

SageMaker AI Studio

SageMaker SDK per AI per Python

MultiTurnRLEvaluatorFornisce un'interfaccia di alto livello per l'avvio di lavori di valutazione. Quando superate un corso di formazione completo, lo strumento di valutazione risolve automaticamente l'ARN del pacchetto modello, la configurazione dell'agente e il qualificatore dell'agente.

Valuta un modello ottimizzato

from sagemaker.train.evaluate import MultiTurnRLEvaluator
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

# Attach to a completed training job
trainer = MultiTurnRLTrainer.attach(job_name="my-mtrl-job-20260512082005")

# Minimal evaluator — everything else inferred from trainer
evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/",
)

execution = evaluator.evaluate()
print(f"Evaluation started: {execution.arn}")

# Wait for completion
execution.wait()
print(f"Status: {execution.status.overall_status}")
print(f"S3 Output: {execution.s3_output_path}")
print(f"MLflow: {execution.mlflow_url}")

Valuta un modello base (nessuna formazione)

Quando si valuta direttamente un modello base, agent_config è necessario poiché non esiste un trainer da cui ereditare:

from sagemaker.train.evaluate import MultiTurnRLEvaluator

# With Bedrock AgentCore
evaluator_base = MultiTurnRLEvaluator(
    model="openai-reasoning-gpt-oss-20b",
    dataset="s3://my-bucket/eval-prompts.parquet",
    agent_config="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent",
    s3_output_path="s3://my-bucket/eval-output/base/",
    mlflow_resource_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-mlflow",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

execution = evaluator_base.evaluate()
execution.wait()

Side-by-side confronto (base vs ottimizzato)

Una singola evaluate() chiamata che valuta sia il modello base che il modello ottimizzato in un'unica pipeline:

comparison_evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/comparison/",
    evaluate_base_model=True,
)

execution = comparison_evaluator.evaluate()
execution.wait()
print(f"Status: {execution.status.overall_status}")

Monitora e recupera i risultati

# Refresh status
execution.refresh()
print(f"Status: {execution.status.overall_status}")

# Step-level detail
for step in execution.status.step_details:
    print(f"  {step.name}: {step.status}")
    if step.job_arn:
        print(f"    Job ARN: {step.job_arn}")

# MLflow URL
print(f"MLflow: {execution.mlflow_url}")

AWS CLI e boto3

Puoi anche creare lavori di valutazione direttamente utilizzando l'API. CreateJob

Crea un lavoro di valutazione (Bedrock AgentCore)

Per creare un lavoro di valutazione, chiama l'CreateJobAPI con JobCategory set toAgentRFTEvaluation. L'installazione e la configurazione dell'agente seguono lo stesso processo dei lavori di formazione.

Utilizzo della AWS CLI

aws sagemaker create-job \
  --job-category AgentRFTEvaluation \
  --job-name "my-agent-rft-eval-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [{
      "ChannelName": "evaluation",
      "DataSource": {
        "S3DataSource": {
          "S3DataType": "S3Prefix",
          "S3Uri": "s3://your-bucket-name/eval-prompts/"
        }
      }
    }],
    "OutputDataConfig": {
      "S3OutputPath": "s3://your-bucket-name/eval-output/",
      "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
      }
    },
    "EvaluationConfig": {
      "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
      "AcceptEula": true,
      "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
    }
  }' \
  --region us-west-2

Utilizzo di SageMaker AI Python SDK (boto3)

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [{
            "ChannelName": "evaluation",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket-name/eval-prompts/"
                }
            }
        }],
        "OutputDataConfig": {
            "S3OutputPath": "s3://your-bucket-name/eval-output/",
            "MlflowConfig": {
                "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
            }
        },
        "EvaluationConfig": {
            "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
            "AcceptEula": True,
            "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
        }
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Valutazione di un modello ottimizzato

Per valutare un modello prodotto da un lavoro di formazione, includi: ModelPackageConfig InputModelPackageArn

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-finetuned",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {...},
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {
            "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/1"
        },
        "EvaluationConfig": {...}
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Creare un processo di valutazione (agente personalizzato con Lambda Forwarder)

Utilizzate lo stesso approccio della AgentCore valutazione di Bedrock ma specificate in: CustomAgentLambdaConfig AgentConfig

"AgentConfig": {
    "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
    }
}

Iperparametri di valutazione

Monitoraggio e valutazione

aws sagemaker describe-job \
  --job-name "my-agent-rft-eval-job" \
  --job-category AgentRFTEvaluation \
  --region us-west-2

Interpretazione dei risultati della valutazione

Apri l'app MLFlow per visualizzare le metriche registrate, le distribuzioni delle ricompense e le visualizzazioni delle traiettorie per l'esecuzione della valutazione. Vedi sotto per una spiegazione del significato di ciascuna metrica.

Metriche sui premi (/) eval/reward

Metriche dei token (/) eval/tokens

Trasforma le metriche (/) eval/turns

Metriche di probabilità di log (eval/logprob/)

Metriche temporali (timing_s/)

Come diagnosticare schemi comuni

Per risultati non elaborati, esamina gli artefatti scritti nel S3OutputPath modo specificato in. OutputDataConfig

Limiti, & quote per la valutazione

Utilizza le quote di AWS servizio per richiedere un aumento del limite del numero massimo di lavori di valutazione simultanei.