在 Amazon Bedrock 中创建你的第一个使用法学硕士作为评委的模型评估作业 - Amazon Bedrock
控制台权限要求

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 Amazon Bedrock 中创建你的第一个使用法学硕士作为评委的模型评估作业

要创建使用法学硕士作为评委的模型评估任务，您需要访问特定的服务级别资源和 Amazon Bedrock 基础模型。使用链接的主题了解有关如何进行设置的更多信息。

启动使用评判模型的模型评估任务所需的服务级别资源

  1. 您需要访问以下 Amazon Bedrock 基础模型中的至少一个。这些是可用的评委模型。要了解有关获得模型访问权限和区域可用性的更多信息，请参阅访问 Amazon Bedrock 基础模型。

    • Mistral Large – mistral.mistral-large-2402-v1:0

    • Anthropic Claude 3.5 Sonnet – anthropic.claude-3-5-sonnet-20240620-v1:0

    • Anthropic Claude 3 Haiku – anthropic.claude-3-haiku-20240307-v1:0:

    • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  2. 创建提示数据集。您的提示数据集是一个 json lines (jsonl) 格式的数据集，其中包含模型评估作业成功运行的提示和必需的真实数据。有关更多信息，请参阅 使用模型作为判断的模型评估作业中对自定义提示数据集的要求。

  3. 要创建使用 LLM 评判的模型评估作业，您需要访问https://console.aws.amazon.com/bedrock/ AWS Command Line Interface、或支持的 AWS SDK。要了解有关所需的 IAM 操作和资源的更多信息，请参阅在 Amazon Bedrock 中创建使用模型作为评判的模型评估任务所需的控制台权限。

  4. 当模型评估作业启动时，服务角色用于代表您执行操作。要了解有关所需的 IAM 操作和信任策略要求的更多信息，请参阅创建使用评判模型的模型评估作业所需的服务角色权限。

  5. Amazon Simple Storage Service — 模型评估任务中指定的任何提示数据集都必须放在 Amazon S3 存储桶中。使用 Amazon Bedrock 控制台创建的模型评估任务要求您为存储桶指定正确的 CORS 权限。有关所需的 CORS 策略权限的更多信息，请参阅S3 存储桶所需的跨源资源共享 (CORS) 权限。

在 Amazon Bedrock 中创建使用模型作为评判的模型评估任务所需的控制台权限

以下策略包含使用 Amazon Bedrock 控制台创建自动模型评测作业所需的最少 Amazon Bedrock 和 Amazon S3 IAM 操作和资源集。

在该策略中，我们建议使用 IAM JSON 策略元素 Res ou rce 来限制仅访问 IAM 用户、群组或角色所需的模型和存储桶。

IAM 策略必须同时访问生成器和评估器模型。

{
	"Version": "2012-10-17",
	"Statement": [
	    {
	        "Sid": "BedrockConsole",
	        "Effect": "Allow",
	        "Action": [
				"bedrock:CreateEvaluationJob",
				"bedrock:GetEvaluationJob",
				"bedrock:ListEvaluationJobs",
				"bedrock:StopEvaluationJob",
				"bedrock:GetCustomModel",
				"bedrock:ListCustomModels",
				"bedrock:CreateProvisionedModelThroughput",
				"bedrock:UpdateProvisionedModelThroughput",
				"bedrock:GetProvisionedModelThroughput",
				"bedrock:ListProvisionedModelThroughputs",
				"bedrock:GetImportedModel",
				"bedrock:ListImportedModels",
				"bedrock:ListTagsForResource",
				"bedrock:UntagResource",
				"bedrock:TagResource"
	        ],
	        "Resource": [
				"arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
				"arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
			]
	    },
	    {
	        "Sid": "AllowConsoleS3AccessForModelEvaluation",
	        "Effect": "Allow",
	        "Action": [
	          "s3:GetObject",
	          "s3:GetBucketCORS",
	          "s3:ListBucket",
	          "s3:ListBucketVersions",
	          "s3:GetBucketLocation"
	        ],
	        "Resource": [
				"arn:aws:s3:::my_output_bucket",
				"arn:aws:s3:::input_datasets/prompts.jsonl",

			]
	    }
	]
}