기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

웜 스타트 하이퍼파라미터 튜닝 작업 실행

웜 스타트를 사용하여 이전 튜닝 작업 중 하나 이상을 시작점으로 활용해 하이퍼파라미터 튜닝 작업을 시작합니다. 이전 튜닝 작업의 결과는 새 튜닝 작업에서 검색할 하이퍼파라미터 조합을 알려주는 데 사용됩니다. 하이퍼파라미터 튜닝은 베이지안 또는 임의 검색을 사용하여 지정한 범위에서 하이퍼파라미터 값의 조합을 선택합니다. 자세한 내용은 Amazon SageMaker AI에서 사용할 수 있는 하이퍼파라미터 튜닝 전략 이해 섹션을 참조하세요. 이전 하이퍼파라미터 튜닝 값의 정보를 사용하면 최적의 하이퍼파라미터 조합을 보다 효율적으로 검색하여 새 하이퍼파라미터 튜닝 작업의 성능을 개선할 수 있습니다.

웜 스타트를 고려해야 하는 이유는 다음과 같습니다.

웜 스타트 튜닝 작업의 유형

두 가지 유형의 웜 스타트 튜닝 작업이 있습니다.

웜 스타트 튜닝 제약 조건

다음 제한은 모든 웜 스타트 튜닝 작업에 적용됩니다.

웜 스타트 튜닝 샘플 노트북

웜 스타트 튜닝을 사용하는 방법을 보여주는 샘플 노트북은 https://github.com/awslabs/amazon-sagemaker-examples/blob/master/hyperparameter_tuning/image_classification_warmstart/hpo_image_classification_warmstart.ipynb를 참조하세요. SageMaker AI에서 예제를 실행하는 데 사용할 수 있는 Jupyter 노트북 인스턴스를 생성하고 액세스하는 방법에 대한 지침은 섹션을 참조하세요예시 노트북 액세스. 노트북 인스턴스를 생성하고 연 후 SageMaker AI 예제 탭을 선택하여 모든 SageMaker AI 샘플 목록을 확인합니다. 웜 스타트 튜닝 예제 노트북은 Hyperparameter tuning(하이퍼파라미터 튜닝) 섹션에 있으며 이 노트북의 이름은 hpo_image_classification_warmstart.ipynb입니다. 노트북을 열려면 사용 탭을 클릭하고 사본 생성을 선택합니다.

웜 스타트 튜닝 작업 생성

Python용 하위 수준 AWS SDK(Boto 3) 또는 상위 수준 SageMaker AI PythonSDK을 사용하여 웜 스타트 튜닝 작업을 생성할 수 있습니다.

웜 스타트 튜닝 작업 생성(PythonAPI용 하위 수준 SageMaker AI(Boto 3))

웜 스타트 튜닝을 사용하려면 HyperParameterTuningJobWarmStartConfig 객체의 값을 지정하고 CreateHyperParameterTuningJob 호출 시 이 값을 WarmStartConfig 필드로 전달합니다.

다음 코드는 PythonAPI용 하위 수준 SageMaker AI(Boto 3)를 사용하여 HyperParameterTuningJobWarmStartConfig 객체를 생성하고 CreateHyperParameterTuningJob 작업에 전달하는 방법을 보여줍니다.

HyperParameterTuningJobWarmStartConfig 객체를 생성합니다.

warm_start_config = {
          "ParentHyperParameterTuningJobs" : [
          {"HyperParameterTuningJobName" : 'MyParentTuningJob'}
          ],
          "WarmStartType" : "IdenticalDataAndAlgorithm"
}

웜 스타트 튜닝 작업을 생성합니다.

smclient = boto3.Session().client('sagemaker')
smclient.create_hyper_parameter_tuning_job(HyperParameterTuningJobName = 'MyWarmStartTuningJob',
   HyperParameterTuningJobConfig = tuning_job_config, # See notebook for tuning configuration
   TrainingJobDefinition = training_job_definition, # See notebook for job definition
   WarmStartConfig = warm_start_config)

웜 스타트 튜닝 작업 생성(SageMaker AI PythonSDK)

Amazon SageMaker PythonSDK을 사용하여 웜 스타트 튜닝 작업을 실행하려면 다음을 수행합니다.

Amazon SageMaker PythonSDK을 하이퍼파라미터 튜닝에 사용하는 방법에 대한 자세한 내용은 https://github.com/aws/sagemaker-python-sdk#sagemaker-automatic-model-tuning을 참조하세요.

이 예제에서는 훈련에 이미지 분류 - MXNet 알고리즘을 사용하는 예측기를 사용합니다. 다음 코드는 최적의 값 조합을 찾기 위해 웜 스타트 튜닝 작업이 검색할 하이퍼파라미터 범위를 설정합니다. 하이퍼파라미터 범위 설정에 대한 자세한 정보는 하이퍼파라미터 범위 정의 섹션을 참조하세요.

hyperparameter_ranges = {'learning_rate': ContinuousParameter(0.0, 0.1),
                         'momentum': ContinuousParameter(0.0, 0.99)}

다음 코드는 WarmStartConfig 객체를 생성하여 웜 스타트 튜닝 작업을 구성합니다.

from sagemaker.tuner import WarmStartConfig,WarmStartTypes

parent_tuning_job_name = "MyParentTuningJob"
warm_start_config = WarmStartConfig(warm_start_type=WarmStartTypes.IDENTICAL_DATA_AND_ALGORITHM, parents={parent_tuning_job_name})

이제, 웜 스타트 튜닝 작업이 시작하는 모든 훈련 작업에 대해 동일한 값을 유지하는 하이퍼파라미터인 정적 하이퍼파라미터에 대한 값을 설정합니다. 다음 코드에서 imageclassification은 이전에 생성한 예측기입니다.

imageclassification.set_hyperparameters(num_layers=18,
                                        image_shape='3,224,224',
                                        num_classes=257,
                                        num_training_samples=15420,
                                        mini_batch_size=128,
                                        epochs=30,
                                        optimizer='sgd',
                                        top_k='2',
                                        precision_dtype='float32',
                                        augmentation_type='crop')

이제, HyperparameterTuner 객체를 생성하고 이전에 warm_start_config 인수로 생성한 WarmStartConfig 객체를 전달합니다.

tuner_warm_start = HyperparameterTuner(imageclassification,
                            'validation:accuracy',
                            hyperparameter_ranges,
                            objective_type='Maximize',
                            max_jobs=10,
                            max_parallel_jobs=2,
                            base_tuning_job_name='warmstart',
                            warm_start_config=warm_start_config)

마지막으로, HyperparameterTuner 객체의 fit 메서드를 호출하여 웜 스타트 튜닝 작업을 시작합니다.

tuner_warm_start.fit(
        {'train': s3_input_train, 'validation': s3_input_validation},
        include_cls_metadata=False)