Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Evaluación de modelos

La evaluación compara a su agente con un conjunto rápido e informa de las métricas de recompensa, pase @k y trayectoria. Utilícela para comparar un modelo ajustado con su base o para comparar un candidato antes del despliegue.

Nota: Se utilizan trabajos de evaluación JobCategory: AgentRFTEvaluation (no AgentRFT como se utilizan en la formación). Utilice esta categoría en los trabajos de evaluación CreateJob y DescribeJob convocatorias.

Preparación de los datos de evaluación

Los conjuntos de datos de evaluación utilizan el mismo formato y esquema que los conjuntos de datos de entrenamiento. Consulte Formato de conjunto de datos rápido. La siguiente guía es específica para la evaluación.

Lanzar un trabajo de evaluación

Una vez finalizado el entrenamiento, evalúe el modelo mediante uno de los siguientes métodos.

SageMaker Estudio AI

SageMaker SDK de Python para IA

MultiTurnRLEvaluatorProporciona una interfaz de alto nivel para lanzar trabajos de evaluación. Al superar a un entrenador completo, el evaluador resuelve automáticamente el ARN del paquete modelo, la configuración del agente y el calificador del agente.

Evalúe un modelo ajustado

from sagemaker.train.evaluate import MultiTurnRLEvaluator
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

# Attach to a completed training job
trainer = MultiTurnRLTrainer.attach(job_name="my-mtrl-job-20260512082005")

# Minimal evaluator — everything else inferred from trainer
evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/",
)

execution = evaluator.evaluate()
print(f"Evaluation started: {execution.arn}")

# Wait for completion
execution.wait()
print(f"Status: {execution.status.overall_status}")
print(f"S3 Output: {execution.s3_output_path}")
print(f"MLflow: {execution.mlflow_url}")

Evalúe un modelo base (sin formación)

Al evaluar un modelo base directamente, agent_config es obligatorio, ya que no hay ningún entrenador del que heredar:

from sagemaker.train.evaluate import MultiTurnRLEvaluator

# With Bedrock AgentCore
evaluator_base = MultiTurnRLEvaluator(
    model="openai-reasoning-gpt-oss-20b",
    dataset="s3://my-bucket/eval-prompts.parquet",
    agent_config="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent",
    s3_output_path="s3://my-bucket/eval-output/base/",
    mlflow_resource_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-mlflow",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

execution = evaluator_base.evaluate()
execution.wait()

Side-by-side comparación (base versus ajustado)

Una sola evaluate() llamada que evalúa tanto el modelo base como el modelo ajustado en una sola canalización:

comparison_evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/comparison/",
    evaluate_base_model=True,
)

execution = comparison_evaluator.evaluate()
execution.wait()
print(f"Status: {execution.status.overall_status}")

Supervise y recupere los resultados

# Refresh status
execution.refresh()
print(f"Status: {execution.status.overall_status}")

# Step-level detail
for step in execution.status.step_details:
    print(f"  {step.name}: {step.status}")
    if step.job_arn:
        print(f"    Job ARN: {step.job_arn}")

# MLflow URL
print(f"MLflow: {execution.mlflow_url}")

AWS CLI y boto3

También puede crear trabajos de evaluación directamente mediante la CreateJob API.

Cree un trabajo de evaluación (Bedrock AgentCore)

Para crear un trabajo de evaluación, llama a la CreateJob API con JobCategory set en. AgentRFTEvaluation La instalación y la configuración del agente siguen el mismo proceso que los trabajos de formación.

Uso de AWS CLI

aws sagemaker create-job \
  --job-category AgentRFTEvaluation \
  --job-name "my-agent-rft-eval-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [{
      "ChannelName": "evaluation",
      "DataSource": {
        "S3DataSource": {
          "S3DataType": "S3Prefix",
          "S3Uri": "s3://your-bucket-name/eval-prompts/"
        }
      }
    }],
    "OutputDataConfig": {
      "S3OutputPath": "s3://your-bucket-name/eval-output/",
      "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
      }
    },
    "EvaluationConfig": {
      "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
      "AcceptEula": true,
      "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
    }
  }' \
  --region us-west-2

Uso del SDK de Python para SageMaker IA (boto3)

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [{
            "ChannelName": "evaluation",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket-name/eval-prompts/"
                }
            }
        }],
        "OutputDataConfig": {
            "S3OutputPath": "s3://your-bucket-name/eval-output/",
            "MlflowConfig": {
                "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
            }
        },
        "EvaluationConfig": {
            "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
            "AcceptEula": True,
            "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
        }
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Evaluación de un modelo ajustado

Para evaluar un modelo producido por un trabajo de formación, inclúyalo ModelPackageConfig junto con: InputModelPackageArn

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-finetuned",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {...},
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {
            "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/1"
        },
        "EvaluationConfig": {...}
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Crear un trabajo de evaluación (agente personalizado con Lambda Forwarder)

Utilice el mismo enfoque que la AgentCore evaluación de Bedrock, pero CustomAgentLambdaConfig especifíquelo en: AgentConfig

"AgentConfig": {
    "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
    }
}

Hiperparámetros de evaluación

Supervisión de la evaluación

aws sagemaker describe-job \
  --job-name "my-agent-rft-eval-job" \
  --job-category AgentRFTEvaluation \
  --region us-west-2

Interpretar los resultados de la evaluación

Abra su aplicación MLflow para ver las métricas registradas, las distribuciones de recompensas y las visualizaciones de la trayectoria de la evaluación. Consulte a continuación una explicación sobre el significado de cada una de las métricas.

Métricas de recompensas (eval/reward/)

Métricas simbólicas (eval/tokens/)

Gire las métricas (eval/turns/)

Métricas de probabilidad logarítmica (eval/logprob/)

Métricas de temporización (timing_s/)

Cómo diagnosticar patrones comunes

Para obtener resultados sin procesar, revise los artefactos escritos según lo S3OutputPath especificado enOutputDataConfig.

Limita & las cuotas de evaluación

Utilice las cuotas de AWS servicio para solicitar un aumento del límite del número máximo de trabajos de evaluación simultáneos.