Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Evaluasi model

Evaluasi menjalankan agen Anda terhadap set prompt dan melaporkan reward, pass @k, dan metrik lintasan. Gunakan untuk membandingkan model yang disetel dengan basisnya atau benchmark kandidat sebelum penerapan.

Catatan: Evaluasi penggunaan pekerjaan JobCategory: AgentRFTEvaluation (tidak AgentRFT seperti yang digunakan dalam pelatihan). Gunakan kategori ini CreateJob dan DescribeJob panggil untuk pekerjaan eval.

Mempersiapkan data evaluasi

Kumpulan data evaluasi menggunakan format dan skema yang sama dengan kumpulan data pelatihan. Lihat Format kumpulan data yang cepat. Panduan di bawah ini adalah eval-spesifik.

Meluncurkan pekerjaan evaluasi

Setelah pelatihan selesai, evaluasi model Anda menggunakan salah satu metode berikut.

SageMaker Studio AI

SageMaker SDK Python AI

MultiTurnRLEvaluatorIni menyediakan antarmuka tingkat tinggi untuk meluncurkan pekerjaan evaluasi. Ketika Anda lulus pelatih yang sudah selesai, evaluator secara otomatis menyelesaikan paket model ARN, konfigurasi agen, dan kualifikasi agen.

Evaluasi model yang disetel dengan baik

from sagemaker.train.evaluate import MultiTurnRLEvaluator
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

# Attach to a completed training job
trainer = MultiTurnRLTrainer.attach(job_name="my-mtrl-job-20260512082005")

# Minimal evaluator — everything else inferred from trainer
evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/",
)

execution = evaluator.evaluate()
print(f"Evaluation started: {execution.arn}")

# Wait for completion
execution.wait()
print(f"Status: {execution.status.overall_status}")
print(f"S3 Output: {execution.s3_output_path}")
print(f"MLflow: {execution.mlflow_url}")

Mengevaluasi model dasar (tidak ada pelatihan)

Saat mengevaluasi model dasar secara langsung, agent_config diperlukan karena tidak ada pelatih untuk mewarisi dari:

from sagemaker.train.evaluate import MultiTurnRLEvaluator

# With Bedrock AgentCore
evaluator_base = MultiTurnRLEvaluator(
    model="openai-reasoning-gpt-oss-20b",
    dataset="s3://my-bucket/eval-prompts.parquet",
    agent_config="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent",
    s3_output_path="s3://my-bucket/eval-output/base/",
    mlflow_resource_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-mlflow",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

execution = evaluator_base.evaluate()
execution.wait()

Side-by-side perbandingan (dasar vs disetel dengan baik)

evaluate()Panggilan tunggal yang mengevaluasi model dasar dan model yang disetel dengan baik dalam satu saluran:

comparison_evaluator = MultiTurnRLEvaluator(
    model=trainer,
    dataset="s3://my-bucket/eval-prompts.parquet",
    s3_output_path="s3://my-bucket/eval-output/comparison/",
    evaluate_base_model=True,
)

execution = comparison_evaluator.evaluate()
execution.wait()
print(f"Status: {execution.status.overall_status}")

Memantau dan mengambil hasil

# Refresh status
execution.refresh()
print(f"Status: {execution.status.overall_status}")

# Step-level detail
for step in execution.status.step_details:
    print(f"  {step.name}: {step.status}")
    if step.job_arn:
        print(f"    Job ARN: {step.job_arn}")

# MLflow URL
print(f"MLflow: {execution.mlflow_url}")

AWS CLI dan boto3

Anda juga dapat membuat pekerjaan evaluasi secara langsung menggunakan CreateJob API.

Buat pekerjaan evaluasi (Bedrock AgentCore)

Untuk membuat pekerjaan evaluasi, panggil CreateJob API dengan JobCategory set toAgentRFTEvaluation. Penyiapan dan konfigurasi agen mengikuti proses yang sama dengan pekerjaan pelatihan.

Menggunakan AWS CLI

aws sagemaker create-job \
  --job-category AgentRFTEvaluation \
  --job-name "my-agent-rft-eval-job" \
  --role-arn "arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole" \
  --job-config-schema-version "1.0.0" \
  --job-config-document '{
    "AgentConfig": {
      "BedrockAgentCoreConfig": {
        "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
      }
    },
    "InputDataConfig": [{
      "ChannelName": "evaluation",
      "DataSource": {
        "S3DataSource": {
          "S3DataType": "S3Prefix",
          "S3Uri": "s3://your-bucket-name/eval-prompts/"
        }
      }
    }],
    "OutputDataConfig": {
      "S3OutputPath": "s3://your-bucket-name/eval-output/",
      "MlflowConfig": {
        "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
      }
    },
    "EvaluationConfig": {
      "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
      "AcceptEula": true,
      "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
    }
  }' \
  --region us-west-2

Menggunakan SageMaker AI Python SDK (boto3)

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-job",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {
            "BedrockAgentCoreConfig": {
                "AgentRuntimeArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent"
            }
        },
        "InputDataConfig": [{
            "ChannelName": "evaluation",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket-name/eval-prompts/"
                }
            }
        }],
        "OutputDataConfig": {
            "S3OutputPath": "s3://your-bucket-name/eval-output/",
            "MlflowConfig": {
                "MlflowResourceArn": "arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/my-rft-mlflow-app"
            }
        },
        "EvaluationConfig": {
            "BaseModelArn": "arn:aws:sagemaker:us-west-2:aws:hub-content/SageMakerPublicHub/Model/openai-reasoning-gpt-oss-20b",
            "AcceptEula": True,
            "HyperParameters": {"batch": { "eval_group_size": 1 }, "eval_metrics_config": { "pass_k_values": [1, 2, 4, 8, 16, 32], "success_threshold": 1 }}
        }
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Mengevaluasi model yang disetel dengan baik

Untuk mengevaluasi model yang dihasilkan oleh pekerjaan pelatihan, sertakan ModelPackageConfig denganInputModelPackageArn:

import json
import boto3

sm = boto3.client("sagemaker")

response = sm.create_job(
    JobName="my-agent-rft-eval-finetuned",
    RoleArn="arn:aws:iam::123456789012:role/SageMakerFineTuningJobRole",
    JobCategory="AgentRFTEvaluation",
    JobConfigSchemaVersion="1.0.0",
    JobConfigDocument=json.dumps({
        "AgentConfig": {...},
        "InputDataConfig": [...],
        "OutputDataConfig": {...},
        "ModelPackageConfig": {
            "InputModelPackageArn": "arn:aws:sagemaker:us-west-2:123456789012:model-package/my-final-models/1"
        },
        "EvaluationConfig": {...}
    })
)

print(f"Eval Job ARN: {response['JobArn']}")

Buat pekerjaan evaluasi (Agen Kustom dengan Lambda Forwarder)

Gunakan pendekatan yang sama dengan AgentCore evaluasi Bedrock tetapi tentukan CustomAgentLambdaConfig dalamAgentConfig:

"AgentConfig": {
    "CustomAgentLambdaConfig": {
        "LambdaArn": "arn:aws:lambda:us-west-2:account-id:function:rft-agent-forwarder"
    }
}

Evaluasi hiperparameter

Evaluasi pemantauan

aws sagemaker describe-job \
  --job-name "my-agent-rft-eval-job" \
  --job-category AgentRFTEvaluation \
  --region us-west-2

Menafsirkan hasil evaluasi

Buka Aplikasi MLFlow Anda untuk melihat metrik yang dicatat, distribusi hadiah, dan visualisasi lintasan untuk menjalankan evaluasi. Lihat di bawah untuk penjelasan tentang arti masing-masing metrik.

Metrik hadiah (eval/reward/)

Metrik Token (eval/tokens/)

Putar metrik (eval/turns/)

Metrik probabilitas log (eval/logprob/)

Metrik waktu (timing_s/)

Cara mendiagnosis pola umum

Untuk hasil mentah, tinjau artefak yang ditulis ke yang S3OutputPath ditentukan dalamOutputDataConfig.

Batas & kuota untuk evaluasi

Gunakan kuota AWS layanan untuk meminta peningkatan batas pada jumlah maksimum pekerjaan evaluasi bersamaan.