分析模型自訂任務的結果 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

分析模型自訂任務的結果

模型自訂任務完成後,您可以查看您在提交任務時指定的輸出 S3 資料夾中的檔案,或檢視模型的詳細資訊,藉此分析訓練程序的結果。Amazon Bedrock 會將您的自訂模型存放在 AWS受管儲存中,該儲存範圍為您的帳戶。

您也可以執行模型評估任務來評估模型。如需詳細資訊,請參閱使用 Amazon Bedrock 評估選擇效能最佳的模型

模型自訂任務的 S3 輸出包含 S3 資料夾中的下列輸出檔案。只有在包含驗證資料集時,才會顯示驗證成品。

- model-customization-job-training-job-id/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv

使用 step_wise_training_metrics.csvvalidation_metrics.csv 檔案來分析模型自訂工作,並協助您根據需要調整模型。

step_wise_training_metrics.csv 檔案中的資料欄如下所示。

  • step_number – 訓練程序的步驟。從 0 開始。

  • epoch_number – 訓練程序中的 epoch。

  • training_loss – 指示模型符合訓練資料的程度。較低的值表示更適合。

  • 複雜度 – 指示模型預測一系列字符的能力。較低的值表示更好的預測能力。

檔案中的資料欄validation_metrics.csv與訓練檔案相同,但 validation_loss(模型適合驗證資料的程度) 會取代 出現training_loss

您可以直接開啟 https://console.aws.amazon.com/s3 或尋找模型詳細資訊中輸出資料夾的連結來尋找輸出檔案。選取與您所選方法對應的索引標籤,然後遵循下列步驟:

Console
  1. AWS Management Console 使用IAM具有 Amazon Bedrock 許可 的角色登入 ,並在 開啟 Amazon Bedrock 主控台https://console.aws.amazon.com/bedrock/

  2. 從左側導覽窗格中,選擇基礎模型 下的自訂模型。

  3. 模型索引標籤中,選取要檢視其詳細資訊的模型。您可以在模型詳細資訊區段中找到任務名稱

  4. 若要檢視輸出 S3 檔案,請在輸出資料區段中選取 S3 位置

  5. 在名稱符合模型任務名稱的資料夾中尋找訓練和驗證指標檔案。

API

若要列出所有自訂模型的相關資訊,請使用 Amazon Bedrock 控制平面端點 傳送 請求 ListCustomModels(請參閱請求和回應格式和欄位詳細資訊的連結)。如需您可以使用ListCustomModels的篩選條件,請參閱 。

若要列出自訂模型的所有標籤,請使用 Amazon Bedrock 控制平面端點傳送ListTagsForResource請求 (請參閱請求和回應格式和欄位詳細資訊的連結),並包含自訂模型的 Amazon Resource Name (ARN)。 https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp

若要監控模型自訂任務的狀態,請使用具有 的 Amazon Bedrock 控制平面端點傳送 請求 GetCustomModel(請參閱請求和回應格式和欄位詳細資訊的連結)modelIdentifier,這是下列任一項。

  • 您提供模型的名稱。

  • 模型ARN的 。

您可以在 或 validationMetrics GetModelCustomizationJobGetCustomModel回應中查看模型自訂任務的 trainingMetrics和 。

若要下載訓練和驗證指標檔案,請遵循下載物件 中的步驟。使用URI您在 中提供的 S3outputDataConfig

請參閱程式碼範例