使用该fmeval库运行自动评估

先决条件

• 要在 Studio 界面中运行模型评估，您的 AWS Identity and Access Management (IAM) 角色和任何输入数据集都必须具有正确的权限。如果您没有 SageMaker 域或IAM角色，请按照中的步骤操作Amazon 入门指南 SageMaker。

为您的 Amazon S3 存储桶设置权限

创建域和角色后，使用以下步骤添加评估模型所需的权限。

1. 打开亚马逊 SageMaker 控制台，网址为https://console.aws.amazon.com/sagemaker/。

2. 在导航窗格中，S3进入页面顶部的搜索栏。

3. 在 “服务” 下选择 S3。

4. 从导航窗格中选择 Buckets。

5. 在通用存储桶部分的名称下，选择要用于在控制台中存储模型输入和输出的 S3 存储桶的名称。如果您没有 S3 存储桶，请执行以下操作：

   1. 选择创建存储桶以打开新的创建存储桶页面。

   2. 在常规配置部分的AWS 区域下，选择基础模型所在的 AWS 区域。

   3. 在存储桶名称下的输入框中命名您的 S3 存储桶。

   4. 接受所有默认选项。

   5. 选择创建存储桶。

   6. 在通用存储桶部分的名称下，选择您创建的 S3 存储桶的名称。

6. 选择权限选项卡。

7. 滚动至窗口底部的跨源资源共享 (CORS) 部分。选择编辑。

8. 要向存储桶添加基础评估权限，请确保输入框中显示以下代码。您也可以将以下内容复制并粘贴到输入框中。

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. 选择 Save changes（保存更改）。

向您的IAM策略添加权限

1. 在页面顶部的搜索栏中输入IAM。

2. 在 “服务” 下，选择 Identity and Access Managemen IAM t ()。

3. 从导航窗格中选择策略。

4. 在搜索栏中输AmazonSageMakerFullAccess入。选择显示的策略旁边的单选按钮。现在可以选择 “操作” 按钮。

5. 选择 “操作” 旁边的向下箭头。出现两个选项。

6. 选择 附加。

7. 在显示的IAM列表中，搜索您创建的角色的名称。选中名称旁边的复选框。

8. 选择附加策略。

开始使用 Studio

1. 在页面顶部的搜索栏中输入SageMaker。

2. 在 “服务” 下，选择 “亚马逊” SageMaker。

3. 从导航窗格中选择 Studio。

4. 展开 “选择域名” 下的向下箭头后，从 “入门” 部分选择您的域名。

5. 展开 “选择用户个人资料” 下的向下箭头后，从 “入门” 部分中选择您的用户个人资料。

6. 选择 Open Studio 以打开 Studio 的登录页面。

7. 从导航窗格中选择文件浏览器，然后导航到根目录。

8. 选择 “创建笔记本”。

9. 在打开的笔记本环境对话框中，选择数据科学 3.0 图像。

10. 选定选择。

11. 在您的开发环境中安装该fmeval软件包，如以下代码示例所示：

    !pip install fmeval

    注意

    将fmeval库安装到使用该库的环境中 Python 3.10。 有关运行所需要求的更多信息fmeval，请参阅fmeval依赖关系。

定义 JumpStart 模型并配置 ModelRunner

1. 通过执行以下任一操作来提供端点：

   • EndpointName为现有 JumpStart端点指定model_id、和model_version。

   • model_version为模型指定model_id和，然后创建 JumpStart 端点。

   以下代码示例显示了如何为创建终端节点 Llama 2 foundation model可通过以下方式获得 JumpStart。

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   前面的代码示例提到EULA，它代表 end-use-license-agreement (EULA)。EULA可以在您正在使用的模型的模型卡描述中找到。要使用某些 JumpStart 模型，必须指定accept_eula=true，如上次调用中所示predict。有关的更多信息EULA，请参阅中的 “许可证和模型来源” 部分来源和许可协议范本。

   您可以在带有预训练 JumpStart 模型表的内置算法中找到可用模型的列表。

2. 使用ModelRunner进行配置JumpStartModelRunner，如以下配置示例所示：

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   在前面的配置示例中，对endpoint_namemodel_id、和model_version使用与创建终端节点相同的值。

3. 测试你的ModelRunner. 向您的模型发送示例请求，如以下代码示例所示：

   js_model_runner.predict("What is the capital of London")

定义 Amazon Bedrock 模型并配置 ModelRunner

1. 要定义和打印模型详细信息，请使用以下代码示例，了解可通过 Amazon Bedrock 购买的 Titan 模型：

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   在前面的代码示例中，accept参数指定了您要用来评估您的数据的格式LLM。contentType指定请求中输入数据的格式。MIME_TYPE_JSON仅支持 Amazon Bedrock 型号accept和contentType机型。有关这些参数的更多信息，请参阅InvokeModelWithResponseStream。

2. 要进行配置ModelRunner，请使用BedrockModelRunner，如以下配置示例所示：

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   按如下方式对ModelRunner配置进行参数化。

   • 使用与部署模型时相同的值。model_id

   • output用于指定生成的json响应的格式。例如，如果您LLM提供了响应[{"results": "this is the output"}]，则output='results[0].outputText'返回this is the output。

   • content_template用于指定您与请求的LLM交互方式。以下配置模板的详细说明仅用于解释前面的配置示例，这不是必需的。

     • 在前面的配置示例中，变量inputText指定了捕获用户发出的请求的提示符。

     • 该变量textGenerationConfig指定如何LLM生成响应，如下所示：

       • 该参数maxTokenCount用于通过限制返回的令牌数量来限制响应的长度LLM。

       • 该参数stopSequences用于指定告诉您LLM停止生成响应的字符序列列表。第一次在输出中遇到任何列出的字符串时，模型输出就会停止。例如，您可以使用回车序列将模型响应限制为一行。

       • 该参数通过限制生成下一个令牌时要考虑的标记集来topP控制随机性。此参数接受介于0.0和之间的值1.0。较高的值topP允许包含更广泛词汇的集合，而较低的值会将标记集限制为更可能的单词。

       • 该参数temperature控制生成文本的随机性，并接受正值。的值越高，temperature指示模型生成更多随机和多样化的响应。较低的值生成的响应更具可预测性。典型范围介temperature于0.2和之间2.0。

       有关特定 Amazon Bedrock 基础模型参数的更多信息，请参阅基础模型的推理参数。

     content_template 参数的格式取决于您支持的输入和参数。LLM例如，Anthropic’s Claude 2 模型可以支持以下内容content_template：

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     再举一个例子，Falcon 7b 型号可以支持以下内容。content_template

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     最后，测试你的ModelRunner。向您的模型发送示例请求，如以下代码示例所示：

     bedrock_model_runner.predict("What is the capital of London?")