建立自動模型評估 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

建立自動模型評估

必要條件

若要完成此程序，您必須執行下列動作。

  1. 您必須能在 Amazon Bedrock 中存取模型。

  2. 您必須擁有 Amazon Bedrock 服務角色。如果您尚未建立服務角色，可以在設定模型評估任務時在 Amazon Bedrock 主控台中建立。如果您想要建立自訂政策，附加的政策必須授與下列資源的存取權；模型評估任務中使用的任何 S3 儲存貯體，以及任務中指定模型的 ARN。服務角色也必須將 Amazon Bedrock定義為角色信任政策中的服務主體。如需進一步了解，請參閱所需的許可。

  3. 存取 Amazon Bedrock 主控台的使用者、群組或角色，必須具有存取所需 Amazon S3 儲存貯體的必要許可權。如需進一步了解，請參閱 所需的許可

  4. 輸出 Amazon S3 儲存貯體和任何自訂提示資料集儲存貯體都必須新增所需的 CORS 許可。若要進一步了解必要的 CORS 許可，請參閱 S3 儲存貯體上所需的跨來源資源分享 (CORS) 許可權。

自動模型評估可讓您使用建議的量度評估單一模型的回應。您也可以使用內建的提示資料集，或使用您自己的自訂提示資料集。您的帳戶中，每個 AWS 區域最多可以有 10 個自動模型評估作業正在進行中。

當您設定自動模型評估任務時，最適合所選任務類型的可用指標和內建資料集會自動新增至任務中。您可以新增或移除任何預先選取的量度或資料集。您也可以提供自己的自訂提示資料集。

使用 Amazon Bedrock 主控台檢視模型評估任務結果

模型評估任務完成後，結果會存放在您指定的 Amazon S3 儲存貯體中。如果您以任何方式修改結果的位置，則主控台不會再顯示模型評估報告卡。

下列程序為自學課程。本教學課程涵蓋建立使用 Amazon Titan Titan 文字 G1-精簡模型的自動模型評估任務，以及建立 IAM 服務角色。

（教程）創建使用 Amazon 泰坦文本 G1 自動模型評估-精簡版

  1. 打開 Amazon 基岩控制台：https://console.aws.amazon.com/bedrock/。

  2. 在導覽窗格中，選擇模型評估。

  3. 在建立評估卡的自動下方，選擇建立自動評估。

  4. 在「建立自動評估」頁面上，提供下列資訊：

    1. 評估名稱 — 為模型評估任務指定一個描述任務的名稱。此名稱會顯示在模型評估工作表格中。在中的名稱必須是唯一 AWS 帳戶 AWS 區域的。

    2. 描述 (選用) — 提供選擇性描述。

    3. 模型選擇器-選擇模型 Amazon 泰坦文本 G1-精簡版。

      若要進一步了解可用模型並在 Amazon 基岩中存取這些模型，請參閱。管理對 Amazon 基礎基礎模型的存取

    4. (選用) 若要變更推論組態，請選擇更新。

      變更推論組態會變更所選模型產生的回應。若要進一步了解可用推論參數，請參閱 基礎模型的推論參數。

    5. 工作類型 — 選擇一般文字產生。

    6. 在量度和資料集卡片中 — 您可以查看可用量度和內建提示資料集的清單。資料集會根據您選取的工作而變更。在本自學課程中，保持選取的預設選項。

    7. 評估結果 — 指定要在其中儲存模型評估任務結果的目錄 S3 URI。選擇瀏覽 S3 以在 Amazon S3 中搜尋位置。

    8. Amazon 基岩 IAM 角色 — 選擇選項按鈕建立新角色。

    9. (選擇性) 在 [服務角色名稱] 下，變更將代表您建立之角色的尾碼。以這種方式創建的角色將始終以亞馬遜基礎- IAM-角色開始。

    10. 自動模型評估任務始終需要輸出存儲桶，並且在 IAM 服務角色中必須是特定的。如果您已在評估結果中指定值區，則會預先填入此欄位。

    11. 接下來，選擇創建角色。

  5. 若要開始進行模型評估任務，請選擇建立。

成功啟動任務後，狀態會變更為進行中。當任務完成後，狀態會變更為已完成。

若要停止目前進行中的模型評估工作，請選擇停止評估。模型評估工作的狀態會從 [進行中] 變更為 [停止]。工作狀態變更為「已停止」後。

若要了解如何評估、檢視和下載模型評估任務的結果，請參閱 模型評估任務結果。