使用fmeval程式庫執行自動評估

必要條件

• 若要在 Studio UI 中執行模型評估，您的 AWS Identity and Access Management （IAM） 角色和任何輸入資料集都必須具有正確的許可。如果您沒有 SageMaker 網域或IAM角色，請遵循 中的步驟Amazon 設定指南 SageMaker。

設定 Amazon S3 儲存貯體的許可

建立網域和角色後，請使用下列步驟新增評估模型所需的許可。

1. 在 開啟 Amazon SageMaker 主控台https://console.aws.amazon.com/sagemaker/。

2. 在導覽窗格中，S3在頁面頂端的搜尋列中輸入 。

3. 在服務 下選擇 S3。

4. 從導覽窗格中選擇儲存貯體。

5. 在一般用途儲存貯體區段的名稱 下，選擇您要用來在主控台中存放模型輸入和輸出的 S3 儲存貯體名稱。如果您沒有 S3 儲存貯體，請執行下列動作：

   1. 選取建立儲存貯體以開啟新的建立儲存貯體頁面。

   2. 在一般組態區段AWS 中的區域 下，選取 AWS 基礎模型所在的區域。

   3. 在儲存貯體名稱 下的輸入方塊中命名 S3 儲存貯體。

   4. 接受所有預設選項。

   5. 選取建立儲存貯體 。

   6. 在一般用途儲存貯體區段的名稱 下，選取您建立的 S3 儲存貯體名稱。

6. 選擇許可索引標籤標籤。

7. 捲動至視窗底部的跨來源資源共用 （CORS） 區段。選擇編輯。

8. 若要將許可新增至儲存貯體以進行基礎評估，請確定下列程式碼出現在輸入方塊中。您也可以將下列項目複製並貼到輸入方塊中。

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. 選擇 Save changes (儲存變更)。

將許可新增至您的IAM政策

1. 在頁面頂端的搜尋列中，輸入 IAM。

2. 在服務 下，選取身分和存取管理 （IAM）。

3. 從導覽窗格中選擇政策。

4. 在搜尋列AmazonSageMakerFullAccess中輸入 。選取出現的政策旁的選項按鈕。現在可以選取動作按鈕。

5. 選擇動作 旁的向下箭頭。會出現兩個選項。

6. 選擇 Attach (連接)。

7. 在出現的IAM清單中，搜尋您建立的角色名稱。選取名稱旁的核取方塊。

8. 選擇連接政策。

開始使用 Studio

1. 在頁面頂端的搜尋列中，輸入 SageMaker。

2. 在服務 下，選取 Amazon SageMaker。

3. 從導覽窗格中選擇 Studio。

4. 在展開選取網域 下的向下箭頭後，從入門區段中選擇您的網域。

5. 在展開選取使用者設定檔 下的向下箭頭後，從開始使用區段中選擇您的使用者設定檔。

6. 選擇開啟 Studio 以開啟 Studio 的登陸頁面。

7. 從導覽窗格中選取檔案瀏覽器，然後導覽至根目錄。

8. 選取建立筆記本 。

9. 在開啟的筆記本環境對話方塊中，選取資料科學 3.0 映像。

10. 選擇選取。

11. 在開發環境中安裝fmeval套件，如下列程式碼範例所示：

    !pip install fmeval

    注意

    將fmeval程式庫安裝到使用 的環境 Python 3.10。 如需執行 fmeval 所需需求的詳細資訊，請參閱fmeval相依性 。

定義 JumpStart 模型並設定 ModelRunner

1. 執行下列任一動作來提供端點：

   • 將 指定EndpointName至現有 JumpStart端點、 model_id和 model_version。

   • model_version 為您的模型指定 model_id和 ，並建立 JumpStart 端點。

   下列程式碼範例示範如何為 建立端點 Llama 2 foundation model 可透過 取得 JumpStart。

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   先前的程式碼範例是指 EULA，代表 end-use-license-agreement（EULA）。EULA 您可以在您正在使用的模型的模型卡描述中找到 。若要使用某些 JumpStart 模型，您必須指定 accept_eula=true，如上一次呼叫 所示predict。如需 的詳細資訊EULA，請參閱 中的授權和模型來源一節模型來源和授權合約。

   您可以在具有預先訓練 JumpStart 模型表 的內建演算法中找到可用模型的清單。 https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table

2. 使用 ModelRunner進行設定JumpStartModelRunner，如下列組態範例所示：

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   在先前的組態範例中，使用model_version您用來建立端點的相同 endpoint_name、 model_id和 值。

3. 測試您的 ModelRunner。將範例請求傳送至您的模型，如下列程式碼範例所示：

   js_model_runner.predict("What is the capital of London")

定義 Amazon Bedrock 模型並設定 ModelRunner

1. 若要定義和列印模型詳細資訊，請針對可透過 Amazon Bedrock 取得的 Titan 模型使用下列程式碼範例：

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   在先前的程式碼範例中， accept 參數會指定您要用來評估 的資料格式LLM。contentType 指定請求中輸入資料的格式。只有 accept和 contentType MIME_TYPE_JSON支援 Amazon Bedrock 模型。如需這些參數的詳細資訊，請參閱 InvokeModelWithResponseStream。

2. 若要設定 ModelRunner，請使用 BedrockModelRunner，如下列組態範例所示：

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   如下所示，將ModelRunner組態平行處理。

   • 使用model_id與您用來部署模型相同的值。

   • 使用 output指定產生的json回應格式。例如，如果您LLM提供回應 [{"results": "this is the output"}]，則 會output='results[0].outputText'傳回 this is the output。

   • 使用 content_template指定 與請求LLM的互動方式。下列組態範本僅為說明先前組態範例而詳細說明，並非必要。

     • 在先前的組態範例中，變數inputText會指定提示，擷取使用者提出的請求。

     • 變數textGenerationConfig指定 如何LLM產生回應，如下所示：

       • 參數maxTokenCount用於限制 傳回的字符數量，以限制回應的長度LLM。

       • 參數stopSequences用於指定字元序列的清單，指示您的 LLM停止產生回應。模型輸出會在輸出中第一次遇到任何列出的字串時停止。例如，您可以使用歸位序列將模型回應限制為單行。

       • 參數透過限制產生下一個字符時要考慮的字符集來topP控制隨機性。此參數接受介於 0.0和 之間的值1.0。較高的 值topP允許包含更廣泛詞彙和較低值的集合，將權杖集限制為更可能的單字。

       • 參數temperature控制所產生文字的隨機性，並接受正值。較高的值會temperature指示模型產生更多隨機且多樣化的回應。較低的值會產生更可預測的回應。一般範圍介於 temperature 0.2和 之間2.0。

       如需特定 Amazon Bedrock 基礎模型參數的詳細資訊，請參閱基礎模型的推論參數 。

     content_template 參數的格式取決於 支援的輸入和參數LLM。例如 Anthropic’s Claude 2 模型可以支援下列 content_template：

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     另一個範例是，Falcon 7b 模型可以支援下列 content_template。

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     最後，測試您的 ModelRunner。將範例請求傳送至您的模型，如下列程式碼範例所示：

     bedrock_model_runner.predict("What is the capital of London?")