本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

SageMaker 除錯器互動式報告

獲得由 Debugger 自動產生的訓練報告。Debugger 報告可提供訓練任務的深入解析，並提供改善模型效能的建議。

SageMaker 除錯器訓練報告

對於 SageMaker XGBoost 訓練工作，請使用偵錯程式CreateXgboostReport規則來接收訓練進度和結果的完整訓練報告。按照本指南，在建構 XGBoost 估算器時指定CreateXgboostReport規則、使用 Amazon SageMaker Python 開發套件或 Amazon S3 主控台下載報告，並深入瞭解訓練結果。

使用除錯程式 SageMaker XGBoost 報表規則建構 XGBoost 估算器

CreateXgboostReport 規則會從訓練任務收集下列輸出張量：

輸出張量會儲存在預設的 S3 儲存貯體。例如 s3://sagemaker-<region>-<12digit_account_id>/<base-job-name>/debug-output/。

當您建構 XGBoost 訓練工作的 SageMaker 估算器時，請指定如下列範例程式碼所示的規則。

Using the SageMaker generic estimator

import boto3
import sagemaker
from sagemaker.estimator import Estimator
from sagemaker import image_uris
from sagemaker.debugger import Rule, rule_configs

rules=[
    Rule.sagemaker(rule_configs.create_xgboost_report())
]

region = boto3.Session().region_name
xgboost_container=sagemaker.image_uris.retrieve("xgboost", region, "1.2-1")

estimator=Estimator(
    role=sagemaker.get_execution_role()
    image_uri=xgboost_container,
    base_job_name="debugger-xgboost-report-demo",
    instance_count=1,
    instance_type="ml.m5.2xlarge",
    
    # Add the Debugger XGBoost report rule
    rules=rules
)

estimator.fit(wait=False)

下載 Debugger XGBoost 訓練報告

在訓練任務執行期間或使用 Amazon SageMaker Python 開發套件和 AWS Command Line Interface (CLI) 完成任務後，下載除錯程式 XGBoost 訓練報告。

Download using the SageMaker Python SDK and AWS CLI

1. 查看目前工作的預設 S3 輸出基底 URI。

   estimator.output_path

2. 檢查目前的任務名稱。

   estimator.latest_training_job.job_name

3. Debugger XGBoost 報告會儲存在 <default-s3-output-base-uri>/<training-job-name>/rule-output 底下。設定規則輸出路徑，如下所示：

   rule_output_path = estimator.output_path + "/" + estimator.latest_training_job.job_name + "/rule-output"

4. 如要檢查報告是否已產生，請在使用 aws s3 ls 和搭配 --recursive 選項在 rule_output_path 下遞迴列出目錄和檔案。

   ! aws s3 ls {rule_output_path} --recursive

   這應該會在名為 CreateXgboostReport 和 ProfilerReport-1234567890 的自動產生之資料夾下傳回完整的檔案清單。XGBoost 訓練報告會儲存在 CreateXgboostReport 中，而分析報告則儲存在 ProfilerReport-1234567890 資料夾中。要瞭解有關 xGBoost 訓練工作預設產生的性能分析報告的詳細資訊，請參閱SageMaker 除錯器分析報告。

   

   xgboost_report.html 是由 Debugger 自動產生的 XGBoost 訓練報告。xgboost_report.ipynb 是 Jupyter 筆記本，用來將訓練結果彙總到報告中。您可以使用筆記本下載所有檔案、瀏覽 HTML 報告檔案並修改報告。

5. 使用 aws s3 cp 遞迴下載檔案。下列命令會將所有規則輸出檔案儲存到目前工作目錄下的 ProfilerReport-1234567890 資料夾中。

   ! aws s3 cp {rule_output_path} ./ --recursive

   提示

   如果您使用 Jupyter 筆記本伺服器，請執行 !pwd 以驗證目前的工作目錄。

6. 在 /CreateXgboostReport 目錄底下，開啟 xgboost_report.html。如果您使用的是 JupyterLab，請選擇「信任 HTML」以查看自動產生的除錯程式訓練報告。

   

7. 開啟 xgboost_report.ipynb 檔案以探索產生報告的方式。您可以使用 Jupyter 筆記本檔案來自訂及擴充訓練報告。

Download using the Amazon S3 console

1. 登入 AWS Management Console 並開啟 Amazon S3 主控台，網址為 https://console.aws.amazon.com/s3/。

2. 搜尋基礎 S3 儲存貯體。例如，如果您尚未指定任何基本作業名稱，則基礎 S3 儲存貯體名稱應採用下列格式：sagemaker-<region>-111122223333。透過依名稱尋找儲存貯體欄位查詢基礎 S3 儲存貯體。

   

3. 在基礎 S3 儲存貯體中，在依字首尋找物件中輸入工作名稱字首，然後選擇訓練工作名稱，以查詢訓練工作名稱。

   

4. 在訓練任務的 S3 儲存貯體中，選擇 rule-output/ 子資料夾。Debugger 所收集的訓練資料必須有三個子資料夾：debug-output/、profiler-output/ 和 rule-output/。

   

5. 在規則輸出/資料夾中，選擇報表/資料夾。CreateXgboost此資料夾包含 xbgoost_report.html (以 html 格式自動產生的報告) 和 xbgoost_report.ipynb (含有用來產生報告之指令碼的 Jupyter 筆記本)。

6. 選擇 xbgoost_report.html 檔案，選擇 下載動作，然後選擇下載。

   

7. 在網頁瀏覽器中開啟下載的 xbgoost_report.html 檔案。

Debugger XGBoost 訓練報告演練

本節將逐步引導您完成 Debugger XGBoost 訓練報告。報告會根據輸出張量 regex 自動彙總，以識別二進制分類、多類別分類和迴歸中的訓練任務類型。

資料集準確標籤的分佈

此長條圖會顯示原始資料集中標籤類別 (用於分類) 或值 (用於迴歸) 的分佈。資料集中的偏態可能會導致不準確。此視覺化內容適用於下列模型類型：二進制分類、多重分類和迴歸。

損失對比步驟圖表

這是一個折線圖，顯示在整個訓練步驟中訓練資料和驗證資料損失的演進方式。損失是您在目標函式中定義的內容，例如平均值平方錯誤。您可以從此繪圖中測量模型是過度擬合或低度擬合。本節還提供了您可以用來釐清如何解決過度擬合和低度擬合問題的洞察。此視覺化內容適用於下列模型類型：二進制分類、多重分類和迴歸。

功能重要性

提供三種不同類型的功能重要性視覺效果：權重、增加和覆蓋範圍。我們針對報告中三者中的每一項目提供詳細定義。功能重要性視覺化可協助您了解訓練資料集中的哪些功能對預測有何貢獻。功能重要性視覺化適用於下列模型類型：二進制分類、多重分類和迴歸。

混淆矩陣

此視覺化內容僅適用於二進位和多類別分類模型。單憑準確度可能不足以評估模型效能。對於某些使用案例，例如醫療保健和詐騙偵測，了解假陽性率和假陰性率也很重要。混淆矩陣為您提供用於評估模型效能的其他維度。

混淆矩陣的評估

本節為您提供有關模型精確度、重新呼叫和 F1 分數的微型、巨集和加權指標之更多洞察。

每個對角線元素超過迭代的準確率

此視覺化內容僅適用於二進制分類和多類別分類模型。這是一個折線圖，用於在每個類別訓練步驟中繪製混淆矩陣中的對角值。此圖顯示了每個類別在整個訓練步驟中的準確性如何進展。您可以從此圖中識別表現不佳的類別。

接收器操作特性曲線

此視覺化內容僅適用於二進制分類模型。接收器操作特性曲線通常用於評估二進制分類模型效能。曲線的 Y 軸為相符率 (TPF)，X 軸為假陽性率 (FPR)。該圖也會顯示曲線下面積 (AUC) 的值。AUC 值越高，您的分類器就越具預測性。您也可以使用 ROC 曲線來了解 TPR 和 FPR 之間的取捨，並識別適合您使用案例的最佳分類閾值。可以調整分類閾值以微調模型的行為，以減少一種或另一種類型的錯誤 (FP/FN)。

上次儲存的步驟之殘差分佈

此視覺化內容是一個欄位圖，顯示在最後一個步驟 Debugger 擷取的殘差分佈。在此視覺化內容中，您可以檢查殘差分佈是否接近以零為中心的常態分佈。如果殘差有偏態，則您的功能可能不足以預測標籤。

每個標籤容器超過迭代的絕對驗證錯誤

此視覺化內容僅適用於迴歸模型。實際的目標值會分割為 10 個間隔。此視覺化內容顯示直線圖中訓練步驟中每個間隔的驗證錯誤如何進展。絕對驗證錯誤是驗證期間預測和實際差異的絕對值。您可以從此視覺化內容中識別效能不佳的間隔。