翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ウォームスタートのハイパーパラメータ調整ジョブを実行する

開始点として 1 つ以上の以前の調整ジョブを使用して、ハイパーパラメータ調整ジョブを開始するには、ウォームスタートを使用します。以前の調整ジョブの結果は、新しい調整ジョブで検索するハイパーパラメータの組み合わせを通知する目的で使用されます。ハイパーパラメータの調整では、ベイズ検索またはランダム検索を使用して、指定された範囲からハイパーパラメータ値の組み合わせを選択します。詳細については、「Amazon SageMaker AI で利用可能なハイパーパラメータ調整戦略を理解する」を参照してください。以前のハイパーパラメータ調整ジョブからの情報を使用すると、ハイパーパラメータの最善の組み合わせの検索が効率化されるため、新しいハイパーパラメータ調整ジョブのパフォーマンスを向上させることができます。

ウォームスタートを検討する理由は次のとおりです。

ウォームスタート調整ジョブのタイプ

ウォームスタート調整ジョブには 2 つの異なるタイプがあります。

ウォームスタート調整の制限事項

すべてのウォームスタート調整ジョブに、次の制限が適用されます。

ウォームスタート調整のサンプルノートブック

ウォームスタート調整の使用方法を示すサンプルノートブックについては、https://github.com/awslabs/amazon-sagemaker-examples/blob/master/hyperparameter_tuning/image_classification_warmstart/hpo_image_classification_warmstart.ipynb を参照してください。SageMaker AI でサンプルを実行するために使用できる Jupyter Notebook インスタンスを作成してアクセスする手順については、「」を参照してくださいサンプルノートブックにアクセスする。ノートブックインスタンスを作成して開いたら、SageMaker AI Examples タブを選択して、すべての SageMaker AI サンプルのリストを表示します。ウォームスタート調整のサンプルノートブックは、[Hyperparameter tuning (ハイパーパラメータの調整)] セクションにあり、hpo_image_classification_warmstart.ipynb という名前です。ノートブックを開くには、その [Use (使用)] タブをクリックして [Create copy (コピーを作成)] を選択します。

ウォームスタート調整ジョブを作成する

ウォームスタート調整ジョブを作成するには、低レベルの AWS SDK for Python (Boto 3) または高レベルの SageMaker AI Python SDK を使用できます。

ウォームスタート調整ジョブを作成する ( Python 用低レベル SageMaker AI API (Boto 3))

ウォームスタート調整を使用するには、HyperParameterTuningJobWarmStartConfig オブジェクトの値を指定し、それを CreateHyperParameterTuningJob のコールの WarmStartConfig フィールドとして渡します。

次のコードは、低レベルの SageMaker AI API for Python (Boto 3) を使用してHyperParameterTuningJobWarmStartConfigオブジェクトを作成し、CreateHyperParameterTuningJobジョブに渡す方法を示しています。

HyperParameterTuningJobWarmStartConfig オブジェクトは次のように作成します。

warm_start_config = {
          "ParentHyperParameterTuningJobs" : [
          {"HyperParameterTuningJobName" : 'MyParentTuningJob'}
          ],
          "WarmStartType" : "IdenticalDataAndAlgorithm"
}

ウォームスタート調整ジョブは次のように作成します。

smclient = boto3.Session().client('sagemaker')
smclient.create_hyper_parameter_tuning_job(HyperParameterTuningJobName = 'MyWarmStartTuningJob',
   HyperParameterTuningJobConfig = tuning_job_config, # See notebook for tuning configuration
   TrainingJobDefinition = training_job_definition, # See notebook for job definition
   WarmStartConfig = warm_start_config)

ウォームスタート調整ジョブを作成する (SageMaker AI Python SDK)

Amazon SageMaker Python SDK を使ってウォームスタートチューニングジョブを実行するには、次の手順に従います。

ハイパーパラメータチューニングに Amazon SageMaker Python SDK を使う方法については、https://github.com/aws/sagemaker-python-sdk#sagemaker-automatic-model-tuning を参照してください。

この例では、トレーニングに 画像分類 - MXNet アルゴリズムを使用する推定器を使用しています。次のコードは、ウォームスタート調整ジョブが検索するハイパーパラメータの範囲を設定して、値の最適な組み合わせを見つけます。ハイパーパラメータ範囲の設定については、ハイパーパラメータの範囲を定義するを参照してください。

hyperparameter_ranges = {'learning_rate': ContinuousParameter(0.0, 0.1),
                         'momentum': ContinuousParameter(0.0, 0.99)}

次のコードは、WarmStartConfig オブジェクトを作成することによってウォームスタート調整ジョブを設定します。

from sagemaker.tuner import WarmStartConfig,WarmStartTypes

parent_tuning_job_name = "MyParentTuningJob"
warm_start_config = WarmStartConfig(warm_start_type=WarmStartTypes.IDENTICAL_DATA_AND_ALGORITHM, parents={parent_tuning_job_name})

ここで、静的ハイパーパラメータの値を設定します。静的ハイパーパラメータは、ウォームスタート調整ジョブが開始するすべてのトレーニングジョブに対して同じ値を保持します。次のコードでは、imageclassification は以前に作成された推定器です。

imageclassification.set_hyperparameters(num_layers=18,
                                        image_shape='3,224,224',
                                        num_classes=257,
                                        num_training_samples=15420,
                                        mini_batch_size=128,
                                        epochs=30,
                                        optimizer='sgd',
                                        top_k='2',
                                        precision_dtype='float32',
                                        augmentation_type='crop')

HyperparameterTuner オブジェクトを作成し、以前に作成した WarmStartConfig オブジェクトを warm_start_config 引数として渡します。

tuner_warm_start = HyperparameterTuner(imageclassification,
                            'validation:accuracy',
                            hyperparameter_ranges,
                            objective_type='Maximize',
                            max_jobs=10,
                            max_parallel_jobs=2,
                            base_tuning_job_name='warmstart',
                            warm_start_config=warm_start_config)

最後に、HyperparameterTuner オブジェクトの fit メソッドを呼び出して、ウォームスタート調整ジョブを開始します。

tuner_warm_start.fit(
        {'train': s3_input_train, 'validation': s3_input_validation},
        include_cls_metadata=False)