翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# ヒューマンワーカーによるモデル評価ジョブの作成
ヒューマンワーカーを使用するモデル評価ジョブでは、次のサービスレベルリソースにアクセスする必要があります。設定方法の詳細については、トピックのリンクを使用して確認してください。
**ヒューマンワーカーを使ったモデル評価ジョブを開始するために必要なサービスレベルのリソース**
1. ヒューマンワーカーを使用するモデル評価ジョブでは、最大 2 つの異なる基盤モデルのレスポンスを評価/比較できます。ジョブを開始するには、少なくとも 1 つの Amazon Bedrock 基盤モデルが必要です。Amazon Bedrock 基盤モデルへのアクセスの詳細については、「[モデルへのアクセスをリクエストする](model-access.md)」を参照してください。
1. ヒューマンワーカーを使用してモデル評価ジョブを作成するには、[https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/) AWS Command Line Interface、またはサポートされている AWS SDK にアクセスする必要があります。必要な IAM アクションとリソースの詳細については、「[ヒューマンベースモデル評価ジョブの作成に必要なコンソールアクセス許可](#more-for-human)」を参照してください。
1. モデル評価ジョブが開始されると、サービスロールを使用して自動的にアクションが実行されます。必要な IAM アクションと信頼ポリシーの要件の詳細については、「[自動モデル評価ジョブのサービスロール要件](automatic-service-roles.md)」を参照してください。
1. モデル評価ジョブを開始するには、プロンプトデータセットが必要です。プロンプトデータセットは、Amazon S3 バケットに保存する必要があります。プロンプトデータセットの要件の詳細については、「[ヒューマンワーカーを使用するモデル評価ジョブのカスタムプロンプトデータセットを作成する](model-evaluation-prompt-datasets-custom-human.md)」を参照してください。
1. 人間の評価者は、作業チームとして管理します。Amazon Bedrock コンソールを使用して、新しい Amazon Cognito マネージドワークチームを作成できます。ワークフォースの管理の詳細については、「[Amazon Bedrock でモデルを人間が評価するための作業チームを管理する](human-worker-evaluations.md)」を参照してください。
## ヒューマンベースモデル評価ジョブの作成に必要なコンソールアクセス許可
Amazon Bedrock コンソールからヒューマンワーカーによるモデル評価ジョブを作成するには、ユーザー、グループ、またはロールにアクセス許可を追加する必要があります。
以下のポリシーには、Amazon Bedrock コンソールを使用して、ヒューマンベースのモデル評価ジョブを作成するために必要な Amazon Bedrock、Amazon SageMaker AI、Amazon Cognito、Amazon S3 の最小限の IAM アクションとリソースが含まれています。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowPassingConsoleCreatedServiceRoles",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "BedrockConsole",
"Effect": "Allow",
"Action": [
"bedrock:CreateEvaluationJob",
"bedrock:GetEvaluationJob",
"bedrock:ListEvaluationJobs",
"bedrock:StopEvaluationJob",
"bedrock:GetCustomModel",
"bedrock:ListCustomModels",
"bedrock:CreateProvisionedModelThroughput",
"bedrock:UpdateProvisionedModelThroughput",
"bedrock:GetProvisionedModelThroughput",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:GetImportedModel",
"bedrock:ListImportedModels",
"bedrock:ListTagsForResource",
"bedrock:UntagResource",
"bedrock:TagResource"
],
"Resource": [
"arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
"arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
"arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
"arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
]
},
{
"Sid": "AllowCognitionActionsForWorkTeamCreations",
"Effect": "Allow",
"Action": [
"cognito-idp:CreateUserPool",
"cognito-idp:CreateUserPoolClient",
"cognito-idp:CreateGroup",
"cognito-idp:AdminCreateUser",
"cognito-idp:AdminAddUserToGroup",
"cognito-idp:CreateUserPoolDomain",
"cognito-idp:UpdateUserPool",
"cognito-idp:ListUsersInGroup",
"cognito-idp:ListUsers",
"cognito-idp:AdminRemoveUserFromGroup"
],
"Resource": "*"
},
{
"Sid": "AllowModelEvaluationResourceCreation",
"Effect": "Allow",
"Action": [
"sagemaker:CreateFlowDefinition",
"sagemaker:CreateWorkforce",
"sagemaker:CreateWorkteam",
"sagemaker:DescribeFlowDefinition",
"sagemaker:DescribeHumanLoop",
"sagemaker:ListFlowDefinitions",
"sagemaker:ListHumanLoops",
"sagemaker:DescribeWorkforce",
"sagemaker:DescribeWorkteam",
"sagemaker:ListWorkteams",
"sagemaker:ListWorkforces",
"sagemaker:DeleteFlowDefinition",
"sagemaker:DeleteHumanLoop",
"sagemaker:RenderUiTemplate",
"sagemaker:StartHumanLoop",
"sagemaker:StopHumanLoop"
],
"Resource": "*"
},
{
"Sid": "AllowConsoleS3AccessForModelEvaluation",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetBucketCORS",
"s3:ListBucket",
"s3:ListBucketVersions",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::my_output_bucket",
"arn:aws:s3:::input_datasets/prompts.jsonl"
]
}
]
}
```
------