기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모델 평가

평가는 프롬프트 세트에 대해 에이전트를 실행하고 보상, pass@k 및 궤적 지표를 보고합니다. 이를 사용하여 미세 조정된 모델을 기본 모델과 비교하거나 배포 전에 후보를 벤치마킹합니다.

참고: 평가 작업은를 사용합니다JobCategory: AgentRFTEvaluation(학습에 사용된 AgentRFT 것과 다름). CreateJob 및에서이 범주를 사용하여 평가 작업을 DescribeJob 호출합니다.

평가 데이터 준비

평가 데이터 세트는 훈련 데이터 세트와 동일한 형식과 스키마를 사용합니다. 프롬프트 데이터 세트 형식을(를) 참조하세요. 아래 지침은 평가별로 다릅니다.

평가 작업 시작

훈련이 완료되면 다음 방법 중 하나를 사용하여 모델을 평가합니다.

SageMaker AI Studio

SageMaker AI Python SDK

는 평가 작업을 시작하기 위한 상위 수준 인터페이스를 MultiTurnRLEvaluator 제공합니다. 완료된 트레이너를 전달하면 평가자는 모델 패키지 ARN, 에이전트 구성 및 에이전트 한정자를 자동으로 확인합니다.

미세 조정된 모델 평가

from sagemaker.train.evaluate import MultiTurnRLEvaluator
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

# Attach to a completed training job
trainer = MultiTurnRLTrainer.attach(job_name="my-mtrl-job-20260512082005")

# Minimal evaluator — everything else inferred from trainer
evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/",
)

execution = evaluator.evaluate()
print(f"Evaluation started: {execution.arn}")

# Wait for completion
execution.wait()
print(f"Status: {execution.status.overall_status}")
print(f"S3 Output: {execution.s3_output_path}")
print(f"MLflow: {execution.mlflow_url}")

기본 모델 평가(훈련 없음)

기본 모델을 직접 평가할 때는 다음에서 상속할 트레이너가 없으므로가 agent_config 필요합니다.

from sagemaker.train.evaluate import MultiTurnRLEvaluator

# With Bedrock AgentCore
evaluator_base = MultiTurnRLEvaluator(
    model="openai-reasoning-gpt-oss-20b",
    dataset="s3://my-bucket/eval-prompts.parquet",
    agent_config="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent",
    s3_output_path="s3://my-bucket/eval-output/base/",
    mlflow_resource_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-mlflow",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

execution = evaluator_base.evaluate()
execution.wait()

Side-by-side 비교(기본 비교와 미세 조정 비교)

하나의 파이프라인에서 기본 모델과 미세 조정된 모델을 모두 평가하는 단일 evaluate() 호출:

comparison_evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/comparison/",
    evaluate_base_model=True,
)

execution = comparison_evaluator.evaluate()
execution.wait()
print(f"Status: {execution.status.overall_status}")

결과 모니터링 및 검색

# Refresh status
execution.refresh()
print(f"Status: {execution.status.overall_status}")

# Step-level detail
for step in execution.status.step_details:
    print(f"  {step.name}: {step.status}")
    if step.job_arn:
        print(f"    Job ARN: {step.job_arn}")

# MLflow URL
print(f"MLflow: {execution.mlflow_url}")

AWS CLI 및 boto3

CreateJob API를 사용하여 직접 평가 작업을 생성할 수도 있습니다.

평가 작업 생성(Bedrock AgentCore)

평가 작업을 생성하려면가 로 JobCategory 설정된 CreateJob API를 호출합니다AgentRFTEvaluation. 에이전트 설정 및 구성은 훈련 작업과 동일한 프로세스를 따릅니다.

AWS CLI 사용

aws sagemaker create-job \
  --job-category AgentRFTEvaluation \
  --job-name "my-agent-rft-eval-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [{
      "ChannelName": "evaluation",
      "DataSource": {
        "S3DataSource": {
          "S3DataType": "S3Prefix",
          "S3Uri": "s3://your-bucket-name/eval-prompts/"
        }
      }
    }],
    "OutputDataConfig": {
      "S3OutputPath": "s3://your-bucket-name/eval-output/",
      "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
      }
    },
    "EvaluationConfig": {
      "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
      "AcceptEula": true,
      "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
    }
  }' \
  --region us-west-2

SageMaker AI Python SDK(boto3) 사용

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [{
            "ChannelName": "evaluation",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket-name/eval-prompts/"
                }
            }
        }],
        "OutputDataConfig": {
            "S3OutputPath": "s3://your-bucket-name/eval-output/",
            "MlflowConfig": {
                "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
            }
        },
        "EvaluationConfig": {
            "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
            "AcceptEula": True,
            "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
        }
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

미세 조정된 모델 평가

훈련 작업에서 생성된 모델을 평가하려면 InputModelPackageArnModelPackageConfig에를 포함합니다.

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-finetuned",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {...},
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {
            "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/1"
        },
        "EvaluationConfig": {...}
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

평가 작업 생성(Lambda 전달자를 사용하는 사용자 지정 에이전트)

Bedrock AgentCore 평가와 동일한 접근 방식을 사용하지만 CustomAgentLambdaConfig에서를 지정합니다AgentConfig.

"AgentConfig": {
    "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
    }
}

평가 하이퍼파라미터

모니터링 평가

aws sagemaker describe-job \
  --job-name "my-agent-rft-eval-job" \
  --job-category AgentRFTEvaluation \
  --region us-west-2

평가 결과 해석

MLflow 앱을 열어 평가 실행에 대해 로깅된 지표, 보상 분포 및 궤적 시각화를 봅니다. 각 지표의 의미에 대한 설명은 아래를 참조하세요.

보상 지표(eval/reward/)

토큰 지표(eval/tokens/)

턴 지표(eval/turns/)

로그 확률 지표(eval/logprob/)

타이밍 지표(timing_s/)

일반적인 패턴을 진단하는 방법

원시 결과의 경우에 S3OutputPath 지정된에 기록된 아티팩트를 검토합니다OutputDataConfig.

평가 한도 및 할당량

AWS 서비스 할당량을 사용하여 최대 동시 평가 작업 수에 대한 한도 증가를 요청합니다.