기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon Bedrock에서 자동 모델 평가 작업 시작
AWS Management Console AWS CLI또는 지원되는 AWS SDK를 사용하여 자동 모델 평가 작업을 생성할 수 있습니다. 자동 모델 평가 작업에서 선택한 모델은 지원되는 기본 제공 데이터 세트의 프롬프트 또는 사용자 지정 프롬프트 데이터 세트를 사용하여 추론을 수행합니다. 또한 각 작업을 수행하려면 작업 유형을 선택해야 합니다. 작업 유형은 몇 가지 권장 지표와 기본 제공 프롬프트 데이터 세트를 제공합니다. 사용 가능한 작업 유형 및 지표에 대한 자세한 내용은 섹션을 참조하세요Amazon Bedrock의 모델 평가 작업 유형.
다음 예제에서는 Amazon Bedrock 콘솔 AWS CLI, SDK for Python을 사용하여 자동 모델 평가 작업을 생성하는 방법을 보여줍니다.
모든 자동 모델 평가 작업을 수행하려면 IAM 서비스 역할을 만들어야 합니다. 모델 평가 작업을 설정하기 위한 IAM 요구 사항에 대한 자세한 내용은 모델 평가 작업의 서비스 역할 요구 사항 섹션을 참조하세요.
다음 예제에서는 자동 모델 평가 작업을 만드는 방법을 보여줍니다. API에서는 modelIdentifier 필드에 ARN을 지정하여 작업에 추론 프로파일을 포함할 수도 있습니다.
- Amazon Bedrock console
-
Amazon Bedrock 콘솔을 사용하여 모델 평가 작업을 검토하려면 다음 절차를 사용합니다. 이 절차를 성공적으로 완료하려면 IAM 사용자, 그룹 또는 역할에 콘솔에 액세스할 수 있는 충분한 권한이 있어야 합니다. 자세한 내용은 자동 모델 평가 작업을 생성하는 데 필요한 콘솔 권한을 참조하십시오.
또한, 모델 평가 작업에서 지정하려는 사용자 지정 프롬프트 데이터세트에는 Amazon S3 버킷에 필요한 CORS 권한이 추가되어 있어야 합니다. 필수 CORS 권한을 추가하는 방법을 알아보려면 S3 버킷에 필요한 교차 오리진 리소스 공유(CORS) 권한 섹션을 참조하세요.
자동 모델 평가 작업을 만드는 방법
-
https://console.aws.amazon.com/bedrock/에서 Amazon Bedrock 콘솔을 엽니다.
-
탐색 창에서 모델 평가를 선택합니다.
-
평가 작성하기 카드의 자동에서 자동 평가 생성을 선택합니다.
-
자동 평가 생성 페이지에서 다음 정보를 입력합니다.
-
평가 이름 - 모델 평가 작업에 작업을 설명하는 이름을 지정합니다. 이 이름이 모델 평가 작업 목록에 표시됩니다. 이름은 AWS 리전리전의 계정 내에서 중복되지 않아야 합니다.
-
설명(선택 사항) - 필요에 따라 설명을 입력합니다.
-
모델 - 모델 평가 작업에 사용하려는 모델을 선택합니다.
Amazon Bedrock에서 사용 가능한 모델과 액세스 방법에 대해 알아보려면 Amazon Bedrock 파운데이션 모델 액세스 섹션을 참조하세요.
-
(선택 사항) 추론 구성을 변경하려면 업데이트를 선택합니다.
추론 구성을 변경하면 선택한 모델에서 생성된 응답이 변경됩니다. 사용 가능한 추론 파라미터에 대한 자세한 내용은 파운데이션 모델의 추론 요청 파라미터 및 응답 필드 섹션을 참조하세요.
-
작업 유형 - 모델 평가 작업 중에 모델이 수행하려고 시도할 작업 유형을 선택합니다.
-
지표 및 데이터 세트 - 사용 가능한 지표 및 내장형 프롬프트 데이터 세트 목록은 선택한 작업에 따라 달라집니다. 사용 가능한 기본 제공 데이터 세트 목록에서 선택하거나 자체 프롬프트 데이터 세트 사용을 선택할 수 있습니다. 자체 프롬프트 데이터세트를 사용하도록 선택한 경우, 프롬프트 데이터세트 파일의 정확한 S3 URI를 입력하거나 S3 찾아보기를 선택하여 프롬프트 데이터세트를 검색합니다.
-
평가 결과 - 결과를 저장하려는 디렉터리의 S3 URI를 지정해야 합니다. S3 찾아보기를 선택하여 Amazon S3 위치를 검색합니다.
-
(선택 사항) 고객 관리형 키를 사용하려면 암호화 설정 사용자 지정(고급)을 선택합니다. 그런 다음, 사용하려는 AWS KMS
키의 ARN을 제공합니다.
-
Amazon Bedrock IAM 역할 - 기존 역할 사용을 선택하여 필요한 권한이 이미 있는 IAM 서비스 역할을 사용하거나, 새 역할 생성을 선택하여 새 IAM 서비스 역할을 만듭니다.
-
그다음에 생성을 선택합니다.
상태가 완료됨으로 변경되면 작업의 보고서 카드를 확인할 수 있습니다.
- SDK for Python
-
다음 예제에서는 Python을 사용하여 자동 평가 작업을 만듭니다.
import boto3
client = boto3.client('bedrock')
job_request = client.create_evaluation_job(
jobName="api-auto-job-titan",
jobDescription="two different task types",
roleArn="arn:aws:iam::111122223333:role/role-name",
inferenceConfig={
"models": [
{
"bedrockModel": {
"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
"inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"
}
}
]
},
outputDataConfig={
"s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/"
},
evaluationConfig={
"automated": {
"datasetMetricConfigs": [
{
"taskType": "QuestionAndAnswer",
"dataset": {
"name": "Builtin.BoolQ"
},
"metricNames": [
"Builtin.Accuracy",
"Builtin.Robustness"
]
}
]
}
}
)
print(job_request)
- AWS CLI
-
에서 help 명령을 사용하여 필요한 파라미터와 create-evaluation-job에서 지정할 때 선택 사항인 파라미터를 확인할 AWS CLI수 있습니다 AWS CLI.
aws bedrock create-evaluation-job help
aws bedrock create-evaluation-job \
--job-name 'automatic-eval-job-cli-001' \
--role-arn 'arn:aws:iam::111122223333:role/role-name' \
--evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \
--inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \
--output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs"}'
