Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Jalankan Pekerjaan Penyetelan Hyperparameter Warm Start

Gunakan start hangat untuk memulai pekerjaan penyetelan hyperparameter menggunakan satu atau lebih pekerjaan penyetelan sebelumnya sebagai titik awal. Hasil pekerjaan penyetelan sebelumnya digunakan untuk menginformasikan kombinasi hyperparameter mana yang akan dicari dalam pekerjaan penyetelan baru. Penyetelan hyperparameter menggunakan pencarian Bayesian atau acak untuk memilih kombinasi nilai hyperparameter dari rentang yang Anda tentukan. Untuk informasi selengkapnya, lihat Memahami strategi penyetelan hyperparameter yang tersedia di Amazon AI SageMaker. Menggunakan informasi dari pekerjaan penyetelan hyperparameter sebelumnya dapat membantu meningkatkan kinerja pekerjaan penyetelan hyperparameter baru dengan membuat pencarian kombinasi hyperparameter terbaik menjadi lebih efisien.

Alasan untuk mempertimbangkan awal yang hangat meliputi yang berikut:

Jenis Pekerjaan Tuning Mulai Hangat

Ada dua jenis pekerjaan penyetelan awal hangat:

Batasan Penyetelan Mulai Hangat

Pembatasan berikut berlaku untuk semua pekerjaan penyetelan awal hangat:

Notebook Sampel Penyetelan Mulai Hangat

Untuk contoh notebook yang menunjukkan cara menggunakan penyetelan awal hangat, lihat https://github.com/awslabs/amazon-sagemaker-examples/blob/master/hyperparameter_tuning/image_classification_warmstart/hpo_image_classification_warmstart.ipynb.

Buat Pekerjaan Penyetelan Mulai yang Hangat

Anda dapat menggunakan AWS SDK tingkat rendah untuk Python (Boto 3) atau SageMaker AI Python SDK tingkat tinggi untuk membuat pekerjaan penyetelan awal yang hangat.

Buat Pekerjaan Tuning Mulai yang Hangat (API Low-level SageMaker AI untuk Python (Boto 3))

Untuk menggunakan penyetelan awal hangat, Anda menentukan nilai HyperParameterTuningJobWarmStartConfig objek, dan meneruskannya sebagai WarmStartConfig bidang dalam panggilan ke CreateHyperParameterTuningJob.

Kode berikut menunjukkan cara membuat HyperParameterTuningJobWarmStartConfig objek dan meneruskannya ke CreateHyperParameterTuningJob pekerjaan dengan menggunakan API SageMaker AI tingkat rendah untuk Python (Boto 3).

Buat HyperParameterTuningJobWarmStartConfig objek:

warm_start_config = {
          "ParentHyperParameterTuningJobs" : [
          {"HyperParameterTuningJobName" : 'MyParentTuningJob'}
          ],
          "WarmStartType" : "IdenticalDataAndAlgorithm"
}

Buat pekerjaan penyetelan awal yang hangat:

smclient = boto3.Session().client('sagemaker')
smclient.create_hyper_parameter_tuning_job(HyperParameterTuningJobName = 'MyWarmStartTuningJob',
   HyperParameterTuningJobConfig = tuning_job_config, # See notebook for tuning configuration
   TrainingJobDefinition = training_job_definition, # See notebook for job definition
   WarmStartConfig = warm_start_config)

Buat Pekerjaan Penyetelan Mulai yang Hangat (SageMaker AI Python SDK)

Untuk menggunakan Amazon SageMaker Python SDK untuk menjalankan pekerjaan penyetelan awal yang hangat, Anda:

Untuk informasi selengkapnya tentang menggunakan Amazon SageMaker Python SDK untuk penyetelan hyperparameter, lihat https://github.com/aws/sagemaker-python-sdk #sagemaker -automatic-model- tuning.

Contoh ini menggunakan estimator yang menggunakan Klasifikasi Gambar - MXNet algoritma untuk pelatihan. Kode berikut menetapkan rentang hyperparameter yang dicari oleh pekerjaan penyetelan awal hangat di dalamnya untuk menemukan kombinasi nilai terbaik. Untuk informasi tentang menyetel rentang hyperparameter, lihatTentukan Rentang Hyperparameter.

hyperparameter_ranges = {'learning_rate': ContinuousParameter(0.0, 0.1),
                         'momentum': ContinuousParameter(0.0, 0.99)}

Kode berikut mengonfigurasi pekerjaan penyetelan awal hangat dengan membuat WarmStartConfig objek.

from sagemaker.train.tuner import WarmStartTypes
from sagemaker.core.shapes import HyperParameterTuningJobWarmStartConfig

parent_tuning_job_name = "MyParentTuningJob"
warm_start_config = HyperParameterTuningJobWarmStartConfig(warm_start_type=WarmStartTypes.IDENTICAL_DATA_AND_ALGORITHM, parents=[parent_tuning_job_name])

Sekarang atur nilai untuk hyperparameter statis, yang merupakan hyperparameter yang mempertahankan nilai yang sama untuk setiap pekerjaan pelatihan yang diluncurkan oleh pekerjaan penyetelan awal hangat. Dalam kode berikut, imageclassification adalah ModelTrainer yang dibuat sebelumnya.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute

imageclassification = ModelTrainer(
    training_image=training_image,
    role=role,
    hyperparameters={
        'num_layers': '18',
        'image_shape': '3,224,224',
        'num_classes': '257',
        'num_training_samples': '15420',
        'mini_batch_size': '128',
        'epochs': '30',
        'optimizer': 'sgd',
        'top_k': '2',
        'precision_dtype': 'float32',
        'augmentation_type': 'crop',
    },
    compute=Compute(instance_type='ml.p3.8xlarge', instance_count=1),
)

Sekarang buat HyperparameterTuner objek dan berikan WarmStartConfig objek yang sebelumnya Anda buat sebagai warm_start_config argumen.

tuner_warm_start = HyperparameterTuner(model_trainer=imageclassification,
                            objective_metric_name='validation:accuracy',
                            hyperparameter_ranges=hyperparameter_ranges,
                            objective_type='Maximize',
                            max_jobs=10,
                            max_parallel_jobs=2,
                            base_tuning_job_name='warmstart',
                            warm_start_config=warm_start_config)

Terakhir, panggil fit metode tune atau HyperparameterTuner objek untuk meluncurkan pekerjaan penyetelan awal hangat.

tuner_warm_start.tune(
        {'train': s3_input_train, 'validation': s3_input_validation})