偵錯工具內建剖析工具規則清單

使用 Amazon Debug 提供的偵錯工具內建效能分析 SageMaker 工具規則，並分析訓練模型時收集的指標。偵錯工具內建規則監控對成功執行高效能訓練任務至關重要的各種常見條件。您可以使用 Amazon SageMaker Python 開發套件或低階 SageMaker API 操作來呼叫內建效能分析工具規則。使用內建規則無需額外付費。如需有關計費的詳細資訊，請參閱 Amazon SageMaker 定價頁面。

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

剖析工具規則

下列規則是可使用 ProfilerRule.sagemaker 類別方法呼叫的 Debugger 內建規則。

若要將內建規則與預設參數值搭配使用，請使用下列組態格式：

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_1()),
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_2()),
    ...
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_n())
]

若要使用內建規則來自訂參數值，請使用下列組態格式：

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(
        base_config=rule_configs.BuiltInRuleName(),
        rule_parameters={
                "key": "value"
        }
    )
]

若要尋找 rule_parameters 參數的可用金鑰，請參閱參數描述資料表。

為參數描述資料表下方的每個內建規則提供範例規則組態程式碼。

ProfilerReport

此規 ProfilerReport 則會叫用監視和效能分析的所有內建規則。它建立一個分析報告，並在觸發個別規則時更新。您可以在訓練任務執行期間或訓練任務完成後下載全方位的分析報告。您可以調整規則參數值，以自訂內建監控和分析規則的敏感度。下列範例程式碼顯示了透過規則調整內建規則參數的 ProfilerReport 基本格式。

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            <BuiltInRuleName>_<parameter_name> = value
        )
    )  
]

如果您在沒有任何自訂參數的情況下觸發此 ProfilerReport 規則 (如下列範例程式碼所示)，則規 ProfilerReport 則會觸發所有內建規則，以便使用其預設參數值進行監視和效能分析。

rules=[ProfilerRule.sagemaker(rule_configs.ProfilerReport())]

下列範例程式碼會示範如何指定和調整 CPUBottleneck 規則的 cpu_threshold 參數和 CPUBottleneck 規則的 threshold 參數。

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            CPUBottleneck_cpu_threshold = 90,
            IOBottleneck_threshold = 90
        )
    )  
]

若要探索效能分析工具報告中的內容，請參閱SageMaker 偵錯工具效能分析報告。此外，由於此規則會啟動所有效能分析規則，因此您也可以使用 SageMaker Studio 實驗中的SageMaker 偵錯工具 UI 檢查規則分析狀態。

BatchSize

此 BatchSize 規則有助於偵測 GPU 是否因為批次較小而未充分利用。為了偵測此問題，此規則會監控平均 CPU 利用率、GPU 使用率和 GPU 記憶體使用率。如果 CPU、GPU 和 GPU 記憶體的平均使用率較低，則可能表示訓練任務可以在較小的執行個體類型上執行，或是以較大的批次大小執行。這種分析不適用於大量過度配置記憶體的架構。但是，增加批次大小可能會導致處理或資料載入瓶頸，因為每次反覆運算都需要更多資料預先處理的時間。

CPUBottleneck

CPUBottleneck 規則可協助偵測 GPU 是否因 CPU 瓶頸而讓 GPU 的使用量過低。如果 CPU 瓶頸數量超過預先定義的閾值，則規則會傳回 True。

顯示卡 MemoryIncrease

GPU MemoryIncrease 規則有助於偵測 GPU 上記憶體使用量大幅增加。

IOBottleneck

此規則有助於偵測 GPU 是否因為資料 IO 瓶頸而讓 GPU 的使用量過低。如果 IO 瓶頸數量超過預先定義的閾值，則規則會傳回 True。

LoadBalancing

此 LoadBalancing 規則有助於偵測多個 GPU 之間的工作負載平衡問題。

LowGPUUtilization

LowGPUUtilization 規則可協助偵測 GPU 使用率是否較低或受到波動的影響。這是針對每個工作者上的每個 GPU 進行檢查。如果第 95 個分位數低於 threshold_p95 (這表示使用量過低)，則規則會傳回 True。如果第 95 個分位數高於 threshold_p95 和第五分位數低於 threshold_p5 (這表示波動)，則規則會傳回 True。

OverallSystem用法

此 OverallSystemUsage 規則會測量每個 Worker 節點的整體系統使用量。規則目前只會彙總每個節點的值，並運算其百分位數。

MaxInitialization時間

此 MaxInitializationTime 規則有助於偵測訓練初始化是否花費太多時間。規則會等到第一個步驟可用為止。

OverallFramework度量

該 OverallFrameworkMetrics 規則總結了在框架指標上花費的時間，例如向前和向後傳遞以及數據加載。

StepOutlier

此 StepOutlier 規則有助於偵測步驟持續時間的異常值。如果有步驟持續時間大於某個時間範圍內整個步驟持續時間之 stddev sigmas 的極端值，則此規則會傳回 True。