Debugger の組み込みプロファイラールールのリスト

Amazon Debugger が提供する SageMaker デバッガーの組み込みプロファイラールールを使用し、モデルのトレーニング中に収集されたメトリクスを分析します。Debugger の組み込みルールは、パフォーマンスの高いトレーニングジョブの実行を成功させるために不可欠なさまざまな共通条件をモニタリングします。Amazon SageMaker Python SDKまたは低レベル SageMaker APIオペレーションを使用して、組み込みプロファイラールールを呼び出すことができます。組み込みルールの使用に追加料金はかかりません。請求の詳細については、「Amazon の SageMaker 料金」ページを参照してください。

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

プロファイラールール

次のルールは、ProfilerRule.sagemaker クラスメソッド使って呼び出せるデバッガーの組み込みルールです。

プロファイリングレポートを生成するための Debugger 組み込みルール

ハードウェアシステムのリソース使用率 (システムメトリクス)をプロファイリングするための Debugger 組み込みルール

フレームワークメトリクスをプロファイリングするための Debugger 組み込みルール

デフォルトのパラメータ値で組み込みルールを使用するには - 次の設定形式を使用します。

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_1()),
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_2()),
    ...
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_n())
]

パラメータ値をカスタマイズして組み込みルールを使用するには - 次の設定形式を使用します。

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(
        base_config=rule_configs.BuiltInRuleName(),
        rule_parameters={
                "key": "value"
        }
    )
]

rule_parameters パラメータで利用可能なキーを見つけるに、パラメータの説明テーブルを参照してください。

パラメータの説明テーブルの下に、各組み込みルールのサンプル設定コードが記載されています。

ProfilerReport

この ProfilerReport ルールは、モニタリングとプロファイリングのためにすべての組み込みルールを呼び出します。個々のルールがトリガーされると、プロファイリングレポートが作成され、更新されます。トレーニングジョブの実行中またはトレーニングジョブの完了後に、包括的なプロファイリングレポートをダウンロードできます。ルールパラメータ値を調整することで、組み込みのモニタリングルールとプロファイリングルールの感度をカスタマイズできます。次のコード例は、 ProfilerReport ルールを通じて組み込みルールパラメータを調整するための基本的な形式を示しています。

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            <BuiltInRuleName>_<parameter_name> = value
        )
    )  
]

次のサンプルコードに示すように、カスタマイズされたパラメータなしでこの ProfilerReport ルールをトリガーすると、 ProfilerReport ルールはデフォルトのパラメータ値でモニタリングおよびプロファイリングするための組み込みルールをすべてトリガーします。

rules=[ProfilerRule.sagemaker(rule_configs.ProfilerReport())]

次のコード例は、CPUBottleneckルールの cpu_thresholdパラメータとIOBottleneckルールの thresholdパラメータを指定および調整する方法を示しています。

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            CPUBottleneck_cpu_threshold = 90,
            IOBottleneck_threshold = 90
        )
    )  
]

プロファイラーレポートの内容を確認するには、SageMaker 「デバッガープロファイリングレポート」を参照してください。また、このルールはすべてのプロファイリングルールをアクティブ化するため、SageMaker SageMaker Studio Experiments のデバッガー UI を使用してルール分析ステータスを確認することもできます。

OverallSystemUsage ルールのパラメータの説明

BatchSize

この BatchSize ルールGPUは、バッチサイズが小さいために が十分に活用されていないかどうかを検出するのに役立ちます。この問題を検出するために、このルールは平均CPU使用率、GPU使用率、GPUメモリ使用率をモニタリングします。CPU、GPU、および GPUメモリの使用率が平均して低い場合は、トレーニングジョブを小さなインスタンスタイプで実行することも、バッチサイズを大きくして実行することもできます。この分析は、メモリを過剰に割り当てるフレームワークでは機能しません。ただし、バッチサイズを大きくすると、各反復でデータの前処理時間がより多く必要になるため、処理やデータロードのボトルネックが発生する可能性があります。

BatchSize ルールのパラメータの説明

CPUBottleneck

このCPUBottleneckルールは、CPUボトルネックのために GPU が十分に活用されていないかどうかを検出するのに役立ちます。CPU ボトルネックの数が事前定義されたしきい値を超えた場合、ルールは True を返します。

CPUBottleneck ルールのパラメータの説明

GPUMemoryIncrease

このGPUMemoryIncreaseルールは、 でのメモリ使用量の大幅な増加を検出するのに役立ちますGPUs。

GPUMemoryIncrease ルールのパラメータの説明

IOBottleneck

このルールは、データ IO のボトルネックのために GPUが十分に活用されていないかどうかを検出するのに役立ちます。IO のボトルネックの数が事前定義されたしきい値を超えた場合、ルールは true を返します。

IOBottleneck ルールのパラメータの説明

LoadBalancing

この LoadBalancing ルールは、複数の 間のワークロードバランシングの問題を検出するのに役立ちますGPUs。

LoadBalancing ルールのパラメータの説明

LowGPUUtilization

L owGPUUtilization ルールは、GPU使用率が低いか、変動に悩まされているかを検出するのに役立ちます。これは、各ワーカーの ごとにチェックGPUされます。95 番目の分位数が低使用率を示す threshold_p95 を下回ると、ルールは true を返します。95 番目の分位数が threshold_p95 を上回り、5 番目の分位数が変動を示す threshold_p5 を下回ると、ルールは true を返します。

L owGPUUtilization ルールのパラメータの説明

OverallSystemUsage

この OverallSystemUsage ルールは、ワーカーノードごとのシステム全体の使用状況を測定します。このルールは現在、ノードごとの値を集約し、そのパーセンタイルを計算するだけです。

OverallSystemUsage ルールのパラメータの説明

MaxInitializationTime

この MaxInitializationTime ルールは、トレーニングの初期化に時間がかかりすぎているかどうかを検出するのに役立ちます。ルールは、最初のステップが利用可能になるまで待機します。

MaxInitializationTime ルールのパラメータの説明

OverallFrameworkMetrics

この OverallFrameworkMetrics ルールは、フォワードパスとバックワードパス、データロードなどのフレームワークメトリクスに費やされた時間を要約します。

OverallFrameworkMetrics ルールのパラメータの説明

StepOutlier

この StepOutlier ルールは、ステップ期間の外れ値を検出するのに役立ちます。このルールは、一定の時間範囲内のステップ期間にステップ期間全体の stddev シグマよりも大きな外れ値がある場合に True を返します。

StepOutlier ルールのパラメータの説明