翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ハイパーパラメータの範囲を定義する

このガイドでは、 を使用して SageMaker APIsハイパーパラメータ範囲を定義する方法について説明します。また、使用できるハイパーパラメータのスケーリングタイプのリストも提供しています。

ハイパーパラメータと範囲を選択すると、調整ジョブのパフォーマンスに大きく影響します。ハイパーパラメータチューニングでは、調整可能なハイパーパラメータごとに指定した値の範囲を検索して、モデルに最適なハイパーパラメータ値を見つけます。調整ジョブ中に変化しない静的ハイパーパラメータを最大 100 個指定することもできます。ハイパーパラメータは、合計で 100 個まで (静的パラメータ + 調整可能なパラメータ) を使用できます。ハイパーパラメータと範囲の選択に関するガイダンスについては、ハイパーパラメータ調整のベストプラクティスを参照してください。Autotune を使用して最適な調整ジョブ設定を見つけることもできます。詳細については、次の「Autotune」セクションを参照してください。

静的ハイパーパラメータ

静的ハイパーパラメータは次の場合に使用します。 例えば、 AMTを使用して、 param1 (調整可能なパラメータ) と param2 (静的パラメータ) を使用してモデルをチューニングできます。その場合、2 つの値の間にある param1 の探索空間を使用して、以下のように param2 を静的ハイパーパラメータとして渡します。

param1: ["range_min","range_max"]
param2: "static_value"

静的ハイパーパラメータは次のような構造になっています。

"StaticHyperParameters": {
    "objective" : "reg:squarederror",
    "dropout_rate": "0.3"
}  

Amazon SageMaker API を使用して、 CreateHyperParameterTuningJob オペレーションに渡すHyperParameterTrainingJobDefinitionパラメータの StaticHyperParametersフィールドにキー値のペアを指定できます。

動的ハイパーパラメータ

を使用して SageMaker API、ハイパーパラメータ範囲 を定義できます。CreateHyperParameterTuningJob 操作に渡す HyperParameterTuningJobConfig パラメータの ParameterRanges フィールドに、ハイパーパラメータの名前と値の範囲を指定します。

ParameterRanges フィールドには、カテゴリ、整数、連続の 3 つのサブフィールドがあります。検索対象となる調整可能なハイパーパラメータを合計 30 個まで定義できます (カテゴリ + 整数 + 連続)。

動的ハイパーパラメータは次のような構造になっています。

"ParameterRanges": {
    "CategoricalParameterRanges": [
        {
            "Name": "tree_method",
            "Values": ["auto", "exact", "approx", "hist"]
        }
    ],
    "ContinuousParameterRanges": [
        {
            "Name": "eta",
            "MaxValue" : "0.5",
            "MinValue": "0",
            "ScalingType": "Auto"
        }
    ],
    "IntegerParameterRanges": [
        {
            "Name": "max_depth",
            "MaxValue": "10",
            "MinValue": "1",
            "ScalingType": "Auto"
        }
    ]
}

Grid 戦略を使用して調整ジョブを作成する場合、指定できるのはカテゴリ値だけです。MaxNumberofTrainingJobs を指定する必要はありません。この値は、カテゴリ別パラメータから生成できる設定の合計数から推測されます。MaxNumberOfTrainingJobs を指定した場合、この値は、異なるカテゴリの可能な組み合わせの合計数と等しくなる必要があります。

Autotune

ハイパーパラメータ範囲、リソース、または目標メトリクスを検索する時間とリソースを節約するため、Autotune により一部のハイパーパラメータフィールドの最適値を自動的に推測できます。Autotune を使用して、以下のフィールドの最適な値を検索します。

Autotune を使用するには、次の操作を行います。

AMT は、ハイパーパラメータとサンプル値が自動チューニングの対象となるかどうかを判断します。Autotune で使用できるハイパーパラメータは、適切なパラメータ範囲タイプに自動的に割り当てられます。次に、 AMT ValueHintを使用して最適な範囲を選択します。を使用してDescribeHyperParameterTrainingJobAPI、これらの範囲を表示できます。

次の例は、Autotune を使用する調整ジョブを設定する方法を示しています。設定例では、ハイパーパラメータ max_depth の ValueHint にサンプル値 4 が含まれています。

config = {
    'Autotune': {'Mode': 'Enabled'},
    'HyperParameterTuningJobName':'my-autotune-job',
    'HyperParameterTuningJobConfig': {
        'HyperParameterTuningJobObjective': {'Type': 'Minimize', 'MetricName': 'validation:rmse'},
        'ResourceLimits': {'MaxNumberOfTrainingJobs': 5, 'MaxParallelTrainingJobs': 1},
        'ParameterRanges': {       
            'AutoParameters': [
                {'Name': 'max_depth', 'ValueHint': '4'}
            ]
        }
    },
    'TrainingJobDefinition': {
    .... }

前の例を続けると、前の設定が CreateHyperParameterTuningJob への呼び出しに含まれた後にチューニングジョブが作成されますAPI。次に、autotune は の max_depth ハイパーパラメータ AutoParameters をハイパーパラメータ に変換しますIntegerParameterRanges。からの次のレスポンスDescribeHyperParameterTrainingJobAPIは、 IntegerParameterRanges の最適max_depthが 2 から の間であることを示しています8。

{
    'HyperParameterTuningJobName':'my_job',
    'HyperParameterTuningJobConfig': {
        'ParameterRanges': {
            'IntegerParameterRanges': [
                {'Name': 'max_depth', 'MinValue': '2', 'MaxValue': '8'},
            ],
        }
    },
    'TrainingJobDefinition': {
        ...
    },
    'Autotune': {'Mode': 'Enabled'}
    
}

ハイパーパラメータのスケーリングタイプ

整数型および連続型のハイパーパラメータ範囲では、ハイパーパラメータ調整に使用するスケールを選択できます。たとえば、値の範囲を検索するには、ハイパーパラメータ範囲の ScalingType フィールドに値を指定できます。次のハイパーパラメータスケーリングタイプから選択できます。

ハイパーパラメータスケーリングを使用するノートブックの例については、「」の「Amazon SageMaker ハイパーパラメータの例 GitHub」を参照してください。