本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
什麼是基礎模型評估？
FMEval 可協助您量化模型風險，例如不準確、有毒或偏差的內容。評估您的 LLM 有助於您遵守負責任生成 AI 的國際準則，例如 ISO 42001
下列各節提供建立模型評估、檢視模型評估任務的結果，以及分析結果所支援方法的廣泛概觀。
模型評估任務
在模型評估任務中，評估任務是您希望模型根據提示中的資訊執行的任務。您可以為每個模型評估任務選擇一個任務類型
模型評估任務中支援的任務類型
-
開放式世代 – 對沒有預先定義結構的文字產生自然人回應。
-
文字摘要 – 產生精簡摘要，同時保留較大文字中包含的意義和金鑰資訊。
-
問題回答 – 產生相關且準確的提示回應。
-
分類 – 根據文字內容指派類別，例如標籤或分數。
-
自訂 – 可讓您為模型評估任務定義自訂評估維度。
每個任務類型都有與其相關聯的特定指標，您可以在自動化模型評估任務中使用。若要了解與自動模型評估任務相關的指標，以及使用人工工作者的模型評估任務，請參閱 在模型評估任務中使用提示資料集和可用的評估維度 。
更新推論參數
推論參數是影響模型輸出的方式，無需重新訓練或微調模型。
在自動模型評估任務中，您可以變更模型的溫度、前 P 和最大新權杖。
溫度
變更模型回應中的隨機程度。降低預設溫度以降低隨機性，並提高以擁有更多。
Top P
在推論期間，模型正在產生文字，並從字詞清單中選擇以放置下一個字詞。更新前 P 會根據百分比變更該清單中的單字數。減少 Top P 會導致更確定性的範例，而較高的值將允許產生的文字具有更多可變性和創造性。
新的權杖上限
變更模型可提供的回應長度。
您可以在將模型新增至模型評估任務之後，更新 Studio 中的推論參數。
自動模型評估任務
自動模型評估任務會根據基準使用指標來測量對客戶的有毒、有害或其他不良回應。模型回應會使用任務特有的內建資料集進行評分，或者您可以指定自己的自訂提示資料集。
若要建立自動模型評估任務，您可以使用 Studio 或fmeval
或者，您可以將fmeval程式庫部署到您自己的程式碼基礎，並為您自己的使用案例自訂模型評估任務。
若要進一步了解您的結果，請使用產生的報告。報告包含視覺化和範例。您也可以看到結果儲存在建立任務時指定的 Amazon S3 儲存貯體中。若要進一步了解結果的結構，請參閱 了解自動評估任務的結果。
若要使用 中未公開的模型 JumpStart ，您必須使用 fmeval 程式庫來執行自動模型評估任務。如需 JumpStart 模型清單，請參閱 可用的基礎模型。
提示詞範本
為了協助確保您選取的 JumpStart 模型在所有提示中都執行良好， SageMaker Clarify 會自動將輸入提示增強為最適合模型和您選擇的評估維度的格式。若要查看 Clarify 提供的預設提示範本，請在卡片中選擇提示範本作為評估維度。如果您選取 UI 中的任務類型文字摘要，Clarify 預設會顯示每個相關評估維度的卡片 - 在此情況下，即準確性、毒性和語意穩健性。在這些卡片中，您可以設定資料集和提示範本 Clarify 用於測量該評估維度。您也可以移除您不想使用的任何維度。
預設提示範本
Clarify 提供可供您用來測量每個評估維度的資料集選項。您可以選擇使用一或多個這些資料集，也可以提供自己的自訂資料集。如果您使用 Clarify 提供的資料集，您也可以使用 Clarify 插入的提示範本作為預設值。我們透過分析每個資料集中的回應格式，並判斷實現相同回應格式所需的查詢增強功能，來衍生這些預設提示。
Clarify 提供的提示範本也取決於您選擇的模型。您可以選擇經過微調的模型，以預期提示的特定位置會有指示。例如，選擇模型 meta-textgenerationneuron-llama-2-7b、任務類型文字摘要 和 Gigaword 資料集，顯示下列項目的預設提示範本：
Summarize the following text in one sentence: Oil prices fell on thursday as demand for energy decreased around the world owing to a global economic slowdown...
另一方面，選擇 llama 聊天模型 meta-textgenerationneuron-llama-2-7b-f 會顯示下列預設提示範本：
[INST]<<SYS>>Summarize the following text in one sentence:<</SYS>>Oil prices fell on thursday as demand for energy decreased around the world owing to a global economic slowdown...[/INST]
自訂提示範本
在提示範本對話方塊中，您可以開啟或關閉 SageMaker Clarify 提供的自動提示範本支援。如果您關閉自動提示範本，Clarify 會提供預設提示 （作為相同評估維度內所有資料集的基準），供您修改。例如，如果預設提示範本包含指令 在一個句子 中總結以下內容，您可以將其修改為以少於 100 個字或您想要使用的任何其他指示總結以下內容。
此外，如果您修改評估維度的提示，相同的提示會套用至使用該維度的所有資料集。因此，如果您選擇將提示摘要 17 個句子中的下列文字套用至資料集 Gigaword 為了測量毒性，此相同指示用於資料集 Government report 以測量毒性。如果您想要對不同的資料集使用不同的提示 （使用相同的任務類型和評估維度），您可以使用 提供的 python 套件FMEval。如需詳細資訊，請參閱 使用 fmeval程式庫自訂工作流程。
範例 使用提示範本更新提示範本的範例
想像一個簡單的案例，其中您的簡易資料集僅由兩個提示組成，並且您想要使用 來評估它們meta-textgenerationneuron-llama-2-7b-f。
{ "model_input": "Is himalaya the highest mountain in the world?", "target_output": "False, Mt. Everest is the highest mountain in the world", "category": "Geography" }, { "model_input": "Is Olympia the capital of Washington?", "target_output": "True", "category": "Capitals" }
由於您的提示是問題和答案對，因此您可以選擇問題回答 （Q&A） 任務類型。
透過在 Studio 中選擇提示範本，您可以查看 SageMaker Clarify 將如何格式化您的提示，以符合meta-textgenerationneuron-llama-2-7b-f JumpStart 模型的要求。
[INST]<<SYS>>Respond to the following question. Valid answers are "True" or "False".<<SYS>>Is himalaya the highest mountain in the world?[/INST]
對於此模型 SageMaker ，Clarify 將透過新增 [INST]和 <<SYS>>標籤來補充您的提示，以包含正確的提示格式。它也會透過新增 Respond to the following question. Valid answers are "True" or "False". 來增強您的初始請求，以協助模型更好地回應。
SageMaker Clarify 提供的文字可能不適合您的使用案例。若要關閉預設提示範本，請滑動資料集預設提示範本切換為關閉 。
您可以編輯提示範本，以與使用案例保持一致。例如，您可以提示輸入簡短的回應，而不是 True/False 答案格式，如以下幾行所示：
[INST]<<SYS>>Respond to the following question with a short response.<<SYS>>Is himalaya the highest mountain in the world?[/INST]
現在，指定評估維度下的所有內建或自訂提示資料集都會使用您指定的提示範本。
使用人類工作者的模型評估任務
您也可以使用人力工作者來手動評估模型回應，以獲得更多主觀層面，例如實用性或風格。若要建立使用人工工作者的模型評估任務，您必須使用 Studio。
在使用人工工作者的模型評估任務中，您可以比較最多兩個 JumpStart 模型的回應。您也可以選擇性地指定來自 外部模型的回應 AWS。所有使用人力工作者的模型評估任務都需要您建立自訂提示資料集，並將其儲存在 Amazon S3 中。若要進一步了解如何建立自訂提示資料，請參閱 建立使用人力的模型評估任務。
在 Studio 中，您可以定義人工人力資源用來評估模型回應的條件。您也可以使用 Studio 中提供的範本記錄評估指示。此外，您可以在 Studio 中建立工作團隊。工作團隊是您想要參與模型評估工作的人員。
