As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Avaliação de modelos

A avaliação compara seu agente com base em um conjunto imediato e relata métricas de recompensa, pass @k e trajetória. Use-o para comparar um modelo ajustado com sua base ou comparar um candidato antes da implantação.

Nota: Uso de trabalhos de avaliação JobCategory: AgentRFTEvaluation (não AgentRFT como usado em treinamento). Use esta categoria em CreateJob e DescribeJob solicite trabalhos de avaliação.

Preparando dados de avaliação

Os conjuntos de dados de avaliação usam o mesmo formato e esquema dos conjuntos de dados de treinamento. Consulte Formato de conjunto de dados imediato. A orientação abaixo é específica para cada avaliação.

Lançamento de um trabalho de avaliação

Após a conclusão do treinamento, avalie seu modelo usando um dos métodos a seguir.

SageMaker Estúdio AI

SageMaker SDK AI para Python

MultiTurnRLEvaluatorEle fornece uma interface de alto nível para iniciar trabalhos de avaliação. Quando você é aprovado em um instrutor completo, o avaliador resolve automaticamente o ARN do pacote de modelos, a configuração do agente e o qualificador do agente.

Avalie um modelo ajustado

from sagemaker.train.evaluate import MultiTurnRLEvaluator
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

# Attach to a completed training job
trainer = MultiTurnRLTrainer.attach(job_name="my-mtrl-job-20260512082005")

# Minimal evaluator — everything else inferred from trainer
evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/",
)

execution = evaluator.evaluate()
print(f"Evaluation started: {execution.arn}")

# Wait for completion
execution.wait()
print(f"Status: {execution.status.overall_status}")
print(f"S3 Output: {execution.s3_output_path}")
print(f"MLflow: {execution.mlflow_url}")

Avalie um modelo básico (sem treinamento)

Ao avaliar um modelo básico diretamente, agent_config é necessário, pois não há treinador do qual herdar:

from sagemaker.train.evaluate import MultiTurnRLEvaluator

# With Bedrock AgentCore
evaluator_base = MultiTurnRLEvaluator(
    model="openai-reasoning-gpt-oss-20b",
    dataset="s3://my-bucket/eval-prompts.parquet",
    agent_config="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent",
    s3_output_path="s3://my-bucket/eval-output/base/",
    mlflow_resource_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-mlflow",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

execution = evaluator_base.evaluate()
execution.wait()

Side-by-side comparação (básica versus ajustada)

Uma única evaluate() chamada que avalia o modelo básico e o modelo ajustado em um único pipeline:

comparison_evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/comparison/",
    evaluate_base_model=True,
)

execution = comparison_evaluator.evaluate()
execution.wait()
print(f"Status: {execution.status.overall_status}")

Monitore e recupere resultados

# Refresh status
execution.refresh()
print(f"Status: {execution.status.overall_status}")

# Step-level detail
for step in execution.status.step_details:
    print(f"  {step.name}: {step.status}")
    if step.job_arn:
        print(f"    Job ARN: {step.job_arn}")

# MLflow URL
print(f"MLflow: {execution.mlflow_url}")

AWS CLI e boto3

Você também pode criar trabalhos de avaliação diretamente usando a CreateJob API.

Crie um trabalho de avaliação (Bedrock AgentCore)

Para criar um trabalho de avaliação, chame a CreateJob API com JobCategory set toAgentRFTEvaluation. A instalação e configuração do agente seguem o mesmo processo dos trabalhos de treinamento.

Usando a AWS CLI

aws sagemaker create-job \
  --job-category AgentRFTEvaluation \
  --job-name "my-agent-rft-eval-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [{
      "ChannelName": "evaluation",
      "DataSource": {
        "S3DataSource": {
          "S3DataType": "S3Prefix",
          "S3Uri": "s3://your-bucket-name/eval-prompts/"
        }
      }
    }],
    "OutputDataConfig": {
      "S3OutputPath": "s3://your-bucket-name/eval-output/",
      "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
      }
    },
    "EvaluationConfig": {
      "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
      "AcceptEula": true,
      "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
    }
  }' \
  --region us-west-2

Usando o SDK SageMaker AI Python (boto3)

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [{
            "ChannelName": "evaluation",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket-name/eval-prompts/"
                }
            }
        }],
        "OutputDataConfig": {
            "S3OutputPath": "s3://your-bucket-name/eval-output/",
            "MlflowConfig": {
                "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
            }
        },
        "EvaluationConfig": {
            "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
            "AcceptEula": True,
            "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
        }
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Avaliando um modelo ajustado

Para avaliar um modelo produzido por um trabalho de treinamento, inclua ModelPackageConfig comInputModelPackageArn:

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-finetuned",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {...},
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {
            "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/1"
        },
        "EvaluationConfig": {...}
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Crie um trabalho de avaliação (agente personalizado com Lambda Forwarder)

Use a mesma abordagem da AgentCore avaliação Bedrock, mas especifique CustomAgentLambdaConfig em: AgentConfig

"AgentConfig": {
    "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
    }
}

Hiperparâmetros de avaliação

Monitoramento e avaliação

aws sagemaker describe-job \
  --job-name "my-agent-rft-eval-job" \
  --job-category AgentRFTEvaluation \
  --region us-west-2

Interpretando os resultados da avaliação

Abra seu aplicativo MLflow para visualizar métricas registradas, distribuições de recompensas e visualizações de trajetória para a execução da avaliação. Veja abaixo a explicação sobre o que cada uma das métricas significa.

Métricas de recompensa (eval/reward/)

Métricas de token (eval/tokens/)

Métricas de turnos (eval/turns/)

Registrar métricas de probabilidade (eval/logprob/)

Métricas de tempo (timing_s/)

Como diagnosticar padrões comuns

Para obter resultados brutos, revise os artefatos gravados no S3OutputPath especificado emOutputDataConfig.

Limita as & cotas para avaliação

Use cotas AWS de serviço para solicitar um aumento de limite no número máximo de trabalhos de avaliação simultâneos.