翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モデル評価

評価はプロンプトセットに対してエージェントを実行し、報酬、pass@k、および軌道メトリクスを報告します。ファインチューニングされたモデルをベースと比較したり、デプロイ前に候補をベンチマークしたりするために使用します。

注: 評価ジョブは を使用します JobCategory: AgentRFTEvaluation (トレーニングではAgentRFT使用されません）。このカテゴリは、評価ジョブの CreateJobおよび DescribeJob呼び出しで使用します。

評価データの準備

評価データセットは、トレーニングデータセットと同じ形式とスキーマを使用します。「プロンプトデータセットの形式」を参照してください。以下のガイダンスは評価固有です。

評価ジョブの起動

トレーニングが完了したら、次のいずれかの方法を使用してモデルを評価します。

SageMaker AI Studio

SageMaker AI Python SDK

MultiTurnRLEvaluator は、評価ジョブを起動するための高レベルのインターフェイスを提供します。完了したトレーナーに合格すると、評価者はモデルパッケージの ARN、エージェント設定、エージェント修飾子を自動的に解決します。

微調整されたモデルを評価する

from sagemaker.train.evaluate import MultiTurnRLEvaluator
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

# Attach to a completed training job
trainer = MultiTurnRLTrainer.attach(job_name="my-mtrl-job-20260512082005")

# Minimal evaluator — everything else inferred from trainer
evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/",
)

execution = evaluator.evaluate()
print(f"Evaluation started: {execution.arn}")

# Wait for completion
execution.wait()
print(f"Status: {execution.status.overall_status}")
print(f"S3 Output: {execution.s3_output_path}")
print(f"MLflow: {execution.mlflow_url}")

ベースモデルを評価する (トレーニングなし)

ベースモデルを直接評価するときは、継承するトレーナーがないため、 agent_configが必要です。

from sagemaker.train.evaluate import MultiTurnRLEvaluator

# With Bedrock AgentCore
evaluator_base = MultiTurnRLEvaluator(
    model="openai-reasoning-gpt-oss-20b",
    dataset="s3://my-bucket/eval-prompts.parquet",
    agent_config="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent",
    s3_output_path="s3://my-bucket/eval-output/base/",
    mlflow_resource_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-mlflow",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

execution = evaluator_base.evaluate()
execution.wait()

Side-by-side比較 (ベースとファインチューニング)

1 つのパイプラインでベースモデルと微調整されたモデルの両方を評価する 1 回のevaluate()呼び出し。

comparison_evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/comparison/",
    evaluate_base_model=True,
)

execution = comparison_evaluator.evaluate()
execution.wait()
print(f"Status: {execution.status.overall_status}")

結果をモニタリングして取得する

# Refresh status
execution.refresh()
print(f"Status: {execution.status.overall_status}")

# Step-level detail
for step in execution.status.step_details:
    print(f"  {step.name}: {step.status}")
    if step.job_arn:
        print(f"    Job ARN: {step.job_arn}")

# MLflow URL
print(f"MLflow: {execution.mlflow_url}")

AWS CLI と boto3

CreateJob API を使用して評価ジョブを直接作成することもできます。

評価ジョブを作成する (Bedrock AgentCore)

評価ジョブを作成するには、 を JobCategoryに設定して CreateJob API を呼び出しますAgentRFTEvaluation。エージェントのセットアップと設定は、トレーニングジョブと同じプロセスに従います。

CLI AWS の使用

aws sagemaker create-job \
  --job-category AgentRFTEvaluation \
  --job-name "my-agent-rft-eval-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [{
      "ChannelName": "evaluation",
      "DataSource": {
        "S3DataSource": {
          "S3DataType": "S3Prefix",
          "S3Uri": "s3://your-bucket-name/eval-prompts/"
        }
      }
    }],
    "OutputDataConfig": {
      "S3OutputPath": "s3://your-bucket-name/eval-output/",
      "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
      }
    },
    "EvaluationConfig": {
      "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
      "AcceptEula": true,
      "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
    }
  }' \
  --region us-west-2

SageMaker AI Python SDK の使用 (boto3)

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [{
            "ChannelName": "evaluation",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket-name/eval-prompts/"
                }
            }
        }],
        "OutputDataConfig": {
            "S3OutputPath": "s3://your-bucket-name/eval-output/",
            "MlflowConfig": {
                "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
            }
        },
        "EvaluationConfig": {
            "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
            "AcceptEula": True,
            "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
        }
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

微調整されたモデルの評価

トレーニングジョブによって生成されたモデルを評価するには、 ModelPackageConfigに を含めますInputModelPackageArn。

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-finetuned",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {...},
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {
            "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/1"
        },
        "EvaluationConfig": {...}
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

評価ジョブを作成する (Lambda フォワーダーを使用したカスタムエージェント)

Bedrock AgentCore 評価と同じアプローチを使用しますが、 CustomAgentLambdaConfigで を指定しますAgentConfig。

"AgentConfig": {
    "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
    }
}

評価ハイパーパラメータ

評価のモニタリング

aws sagemaker describe-job \
  --job-name "my-agent-rft-eval-job" \
  --job-category AgentRFTEvaluation \
  --region us-west-2

評価結果の解釈

MLflow アプリを開いて、評価実行のログに記録されたメトリクス、報酬分布、および軌道の視覚化を表示します。各メトリクスの意味については、以下を参照してください。

報酬メトリクス (eval/reward/)

トークンメトリクス (eval/tokens/)

Turn メトリクス (eval/turns/)

ログ確率メトリクス (eval/logprob/)

タイミングメトリクス (timing_s/)

一般的なパターンを診断する方法

raw の結果については、 でS3OutputPath指定された に書き込まれたアーティファクトを確認しますOutputDataConfig。

評価の制限とクォータ

AWS サービスクォータを使用して、同時評価ジョブの最大数の制限の引き上げをリクエストします。