偵錯工具內建剖析工具規則清單

使用 Amazon Debugger 提供的 SageMaker Debugger 內建分析器規則，並分析訓練模型時收集的指標。偵錯工具內建規則監控對成功執行高效能訓練任務至關重要的各種常見條件。您可以使用 Amazon SageMaker Python SDK 或低階 SageMaker API操作呼叫內建分析器規則。使用內建規則無需額外付費。如需帳單的詳細資訊，請參閱 Amazon SageMaker AI 定價頁面。

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

剖析工具規則

下列規則是可使用 ProfilerRule.sagemaker 類別方法呼叫的 Debugger 內建規則。

用於產生分析報告的偵錯工具內建規則

適用於分析硬體系統資源使用率 (系統指標) 的偵錯工具內建規則

分析架構指標的偵錯工具內建規則

若要將內建規則與預設參數值搭配使用，請使用下列組態格式：

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_1()),
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_2()),
    ...
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_n())
]

若要使用內建規則來自訂參數值，請使用下列組態格式：

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(
        base_config=rule_configs.BuiltInRuleName(),
        rule_parameters={
                "key": "value"
        }
    )
]

若要尋找 rule_parameters 參數的可用金鑰，請參閱參數描述資料表。

為參數描述資料表下方的每個內建規則提供範例規則組態程式碼。

ProfilerReport

此 ProfilerReport 規則會叫用所有內建規則來監控和分析。它建立一個分析報告，並在觸發個別規則時更新。您可以在訓練任務執行期間或訓練任務完成後下載全方位的分析報告。您可以調整規則參數值，以自訂內建監控和分析規則的敏感度。下列範例程式碼顯示透過規則調整內建規則參數的基本格式 ProfilerReport 。

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            <BuiltInRuleName>_<parameter_name> = value
        )
    )  
]

如果您在沒有任何自訂參數的情況下觸發此 ProfilerReport 規則，如下列範例程式碼所示，則 ProfilerReport 規則會觸發所有內建規則，以使用其預設參數值進行監控和分析。

rules=[ProfilerRule.sagemaker(rule_configs.ProfilerReport())]

下列範例程式碼說明如何指定和調整CPUBottleneck規則的 cpu_threshold 參數和IOBottleneck規則的 threshold 參數。

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            CPUBottleneck_cpu_threshold = 90,
            IOBottleneck_threshold = 90
        )
    )  
]

若要探索分析器報告中的內容，請參閱SageMaker 偵錯工具分析報告。此外，由於此規則會啟用所有分析規則，您也可以使用 SageMaker SageMaker Studio Experiments 中的偵錯工具 UI 來檢查規則分析狀態。

OverallSystemUsage 規則的參數描述

BatchSize

此 BatchSize 規則有助於偵測 GPU 是否因為批次大小過小而未充分利用。為了偵測此問題，此規則會監控平均CPU使用率、GPU使用率和GPU記憶體使用率。如果 CPU、 GPU和 GPU記憶體的使用率平均較低，則可能表示訓練任務可以在較小的執行個體類型上執行，也可以在較大的批次大小上執行。這種分析不適用於大量過度配置記憶體的架構。但是，增加批次大小可能會導致處理或資料載入瓶頸，因為每次反覆運算都需要更多資料預先處理的時間。

BatchSize 規則的參數描述

CPUBottleneck

此CPUBottleneck規則有助於偵測 GPU 是否因為CPU瓶頸而未充分利用。如果CPU瓶頸數量超過預先定義的閾值，規則會傳回 True。

CPUBottleneck 規則的參數描述

GPUMemoryIncrease

此GPUMemoryIncrease規則有助於偵測 上的記憶體用量大幅增加GPUs。

GPUMemoryIncrease 規則的參數描述

IOBottleneck

此規則有助於偵測 GPU 是否因為資料 IO 瓶頸而未充分利用。如果 IO 瓶頸數量超過預先定義的閾值，則規則會傳回 True。

IOBottleneck 規則的參數描述

LoadBalancing

此 LoadBalancing 規則有助於偵測多個 之間的工作負載平衡問題GPUs。

LoadBalancing 規則的參數描述

LowGPUUtilization

L owGPUUtilization 規則有助於偵測GPU使用率是否低或是否遭受波動。會針對每個工作者GPU上的每個工作者進行檢查。如果第 95 個分位數低於 threshold_p95 (這表示使用量過低)，則規則會傳回 True。如果第 95 個分位數高於 threshold_p95 和第五分位數低於 threshold_p5 (這表示波動)，則規則會傳回 True。

L owGPUUtilization 規則的參數描述

OverallSystemUsage

此 OverallSystemUsage 規則會測量每個工作者節點的整體系統用量。規則目前只會彙總每個節點的值，並運算其百分位數。

OverallSystemUsage 規則的參數描述

MaxInitializationTime

此 MaxInitializationTime 規則有助於偵測訓練初始化是否花費太多時間。規則會等到第一個步驟可用為止。

MaxInitializationTime 規則的參數描述

OverallFrameworkMetrics

此 OverallFrameworkMetrics 規則摘要說明架構指標所花費的時間，例如向前和向後傳遞，以及資料載入。

OverallFrameworkMetrics 規則的參數描述

StepOutlier

此 StepOutlier 規則有助於偵測步驟持續時間中的極端值。如果有步驟持續時間大於某個時間範圍內整個步驟持續時間之 stddev sigmas 的極端值，則此規則會傳回 True。

StepOutlier 規則的參數描述