偵錯工具內建剖析工具規則清單

使用 Amazon Debuter 提供的偵錯工具內建效能分析 SageMaker 工具規則，並分析訓練模型時收集的指標。偵錯工具內建規則監控對成功執行高效能訓練任務至關重要的各種常見條件。您可以使用 Amazon SageMaker Python SDK 或低階 SageMaker API作業呼叫內建效能分析工具規則。使用內建規則無需額外付費。如需有關計費的詳細資訊，請參閱 Amazon SageMaker 定價頁面。

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

剖析工具規則

下列規則是可使用 ProfilerRule.sagemaker 類別方法呼叫的 Debugger 內建規則。

用於產生分析報告的偵錯工具內建規則

適用於分析硬體系統資源使用率 (系統指標) 的偵錯工具內建規則

分析架構指標的偵錯工具內建規則

若要將內建規則與預設參數值搭配使用，請使用下列組態格式：

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_1()),
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_2()),
    ...
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_n())
]

若要使用內建規則來自訂參數值，請使用下列組態格式：

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(
        base_config=rule_configs.BuiltInRuleName(),
        rule_parameters={
                "key": "value"
        }
    )
]

若要尋找 rule_parameters 參數的可用金鑰，請參閱參數描述資料表。

為參數描述資料表下方的每個內建規則提供範例規則組態程式碼。

ProfilerReport

此規 ProfilerReport 則會叫用監視和效能分析的所有內建規則。它建立一個分析報告，並在觸發個別規則時更新。您可以在訓練任務執行期間或訓練任務完成後下載全方位的分析報告。您可以調整規則參數值，以自訂內建監控和分析規則的敏感度。下列範例程式碼顯示了透過規則調整內建規則參數的 ProfilerReport 基本格式。

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            <BuiltInRuleName>_<parameter_name> = value
        )
    )  
]

如果您在沒有任何自訂參數的情況下觸發此 ProfilerReport 規則 (如下列範例程式碼所示)，則規 ProfilerReport 則會觸發所有內建規則，以便使用其預設參數值進行監視和效能分析。

rules=[ProfilerRule.sagemaker(rule_configs.ProfilerReport())]

下列範例程式碼顯示如何指定和調整CPUBottleneck規則的cpu_threshold參數以及IOBottleneck規則的threshold參數。

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            CPUBottleneck_cpu_threshold = 90,
            IOBottleneck_threshold = 90
        )
    )  
]

若要探索效能分析工具報告中的內容，請參閱SageMaker 偵錯工具效能分析報告。此外，由於此規則會啟動所有效能分析規則，因此您也可以使用 SageMaker Studio 實驗中的SageMaker 偵錯工具 UI 檢查規則分析狀態。

OverallSystemUsage 規則的參數說明

BatchSize

該 BatchSize 規則有助於檢測GPU是否由於批量小而未充分利用。若要偵測此問題，此規則會監視平均CPU使用率、GPU使用率和GPU記憶體使用率。如果開啟CPUGPU、且GPU記憶體的使用率平均較低，可能表示訓練工作可以在較小的執行個體類型上執行，或者可以使用較大的批次大小執行。這種分析不適用於大量過度配置記憶體的架構。但是，增加批次大小可能會導致處理或資料載入瓶頸，因為每次反覆運算都需要更多資料預先處理的時間。

BatchSize 規則的參數說明

CPUBottleneck

此CPUBottleneck規則有助於偵測GPU是否因CPU瓶頸而未充分利用。如果CPU瓶頸數目超過預先定義的臨界值，則規則會傳回 True。

CPUBottleneck規則的參數說明

GPUMemoryIncrease

此GPUMemoryIncrease規則有助於偵測上的記憶體使用量大幅增加GPUs。

GPUMemoryIncrease規則的參數說明

IOBottleneck

此規則有助於偵測GPU是否因為資料 IO 瓶頸而未充分利用。如果 IO 瓶頸數量超過預先定義的閾值，則規則會傳回 True。

IOBottleneck規則的參數說明

LoadBalancing

此 LoadBalancing 規則有助於偵測多個工作負載平衡的問題GPUs。

LoadBalancing 規則的參數說明

L owGPUUtilization

L owGPUUtilization 規則有助於偵測使GPU用率是低還是有波動的影響。每個工作人員都會對此進GPU行檢查。如果第 95 個分位數低於 threshold_p95 (這表示使用量過低)，則規則會傳回 True。如果第 95 個分位數高於 threshold_p95 和第五分位數低於 threshold_p5 (這表示波動)，則規則會傳回 True。

L owGPUUtilization 規則的參數說明

OverallSystemUsage

此 OverallSystemUsage 規則會測量每個 Worker 節點的整體系統使用量。規則目前只會彙總每個節點的值，並運算其百分位數。

OverallSystemUsage 規則的參數說明

MaxInitializationTime

此 MaxInitializationTime 規則有助於偵測訓練初始化是否花費太多時間。規則會等到第一個步驟可用為止。

MaxInitializationTime 規則的參數說明

OverallFrameworkMetrics

該 OverallFrameworkMetrics 規則總結了在框架指標上花費的時間，例如向前和向後傳遞以及數據加載。

OverallFrameworkMetrics 規則的參數說明

StepOutlier

此 StepOutlier 規則有助於偵測步驟持續時間的異常值。如果有步驟持續時間大於某個時間範圍內整個步驟持續時間之 stddev sigmas 的極端值，則此規則會傳回 True。

StepOutlier 規則的參數說明