本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
建立自動模型評估
必要條件
若要完成此程序,您必須執行下列動作。
-
您必須能在 Amazon Bedrock 中存取模型。
-
您必須擁有 Amazon Bedrock 服務角色。如果您尚未建立服務角色,可以在設定模型評估任務時在 Amazon Bedrock 主控台中建立。如果您想要建立自訂政策,附加的政策必須授與下列資源的存取權;模型評估任務中使用的任何 S3 儲存貯體,以及任務中指定模型的 ARN。服務角色也必須將 Amazon Bedrock定義為角色信任政策中的服務主體。如需進一步了解,請參閱所需的許可。
-
存取 Amazon Bedrock 主控台的使用者、群組或角色,必須具有存取所需 Amazon S3 儲存貯體的必要許可權。如需進一步了解,請參閱 所需的許可
-
輸出 Amazon S3 儲存貯體和任何自訂提示資料集儲存貯體都必須新增所需的 CORS 許可。若要進一步了解必要的 CORS 許可,請參閱 S3 儲存貯體上所需的跨來源資源分享 (CORS) 許可權。
自動模型評估可讓您使用建議的量度評估單一模型的回應。您也可以使用內建的提示資料集,或使用您自己的自訂提示資料集。您的帳戶中,每個 AWS 區域最多可以有 10 個自動模型評估作業正在進行中。
當您設定自動模型評估任務時,最適合所選任務類型的可用指標和內建資料集會自動新增至任務中。您可以新增或移除任何預先選取的量度或資料集。您也可以提供自己的自訂提示資料集。
使用 Amazon Bedrock 主控台檢視模型評估任務結果
模型評估任務完成後,結果會存放在您指定的 Amazon S3 儲存貯體中。如果您以任何方式修改結果的位置,則主控台不會再顯示模型評估報告卡。
下列程序為自學課程。本教學課程涵蓋建立使用 Amazon Titan Titan 文字 G1-精簡模型的自動模型評估任務,以及建立 IAM 服務角色。
(教程)創建使用 Amazon 泰坦文本 G1 自動模型評估-精簡版
-
打開 Amazon 基岩控制台:https://console.aws.amazon.com/bedrock/。
-
在導覽窗格中,選擇模型評估。
-
在建立評估卡的自動下方,選擇建立自動評估。
-
在「建立自動評估」頁面上,提供下列資訊:
-
評估名稱 — 為模型評估任務指定一個描述任務的名稱。此名稱會顯示在模型評估工作表格中。在中的名稱必須是唯一 AWS 帳戶 AWS 區域的。
-
描述 (選用) — 提供選擇性描述。
-
模型選擇器-選擇模型 Amazon 泰坦文本 G1-精簡版。
若要進一步了解可用模型並在 Amazon 基岩中存取這些模型,請參閱。管理對 Amazon 基礎基礎模型的存取
-
(選用) 若要變更推論組態,請選擇更新。
變更推論組態會變更所選模型產生的回應。若要進一步了解可用推論參數,請參閱 基礎模型的推論參數。
-
工作類型 — 選擇一般文字產生。
-
在量度和資料集卡片中 — 您可以查看可用量度和內建提示資料集的清單。資料集會根據您選取的工作而變更。在本自學課程中,保持選取的預設選項。
-
評估結果 — 指定要在其中儲存模型評估任務結果的目錄 S3 URI。選擇瀏覽 S3 以在 Amazon S3 中搜尋位置。
-
Amazon 基岩 IAM 角色 — 選擇選項按鈕建立新角色。
-
(選擇性) 在 [服務角色名稱] 下,變更將代表您建立之角色的尾碼。以這種方式創建的角色將始終以亞馬遜基礎- IAM-角色開始。
-
自動模型評估任務始終需要輸出存儲桶,並且在 IAM 服務角色中必須是特定的。如果您已在評估結果中指定值區,則會預先填入此欄位。
-
接下來,選擇創建角色。
-
-
若要開始進行模型評估任務,請選擇建立。
成功啟動任務後,狀態會變更為進行中。當任務完成後,狀態會變更為已完成。
若要停止目前進行中的模型評估工作,請選擇停止評估。模型評估工作的狀態會從 [進行中] 變更為 [停止]。工作狀態變更為「已停止」後。
若要了解如何評估、檢視和下載模型評估任務的結果,請參閱 模型評估任務結果。