Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tentukan Rentang Hyperparameter

Panduan ini menunjukkan cara menggunakan SageMaker APIs untuk menentukan rentang hyperparameter. Ini juga menyediakan daftar jenis penskalaan hyperparameter yang dapat Anda gunakan.

Memilih hiperparameter dan rentang secara signifikan memengaruhi kinerja pekerjaan penyetelan Anda. Penyetelan hyperparameter menemukan nilai hyperparameter terbaik untuk model Anda dengan mencari pada rentang nilai yang Anda tentukan untuk setiap hyperparameter yang dapat disetel. Anda juga dapat menentukan hingga 100 hiperparameter statis yang tidak berubah selama pekerjaan penyetelan. Anda dapat menggunakan hingga 100 hyperparameters secara total (statis+tunable). Untuk panduan memilih hiperparameter dan rentang, lihatPraktik Terbaik untuk Tuning Hyperparameter. Anda juga dapat menggunakan autotune untuk menemukan pengaturan pekerjaan penyetelan yang optimal. Untuk informasi lebih lanjut, lihat bagian Autotune berikut.

Hiperparameter statis

Gunakan hyperparameters statis untuk kasus berikut: Misalnya, Anda dapat menggunakan AMT untuk menyetel model Anda menggunakan param1 (parameter yang dapat disetel) dan param2 (parameter statis). Jika Anda melakukannya, maka gunakan ruang pencarian untuk param1 yang terletak di antara dua nilai, dan lulus param2 sebagai hyperparameter statis, sebagai berikut.

param1: ["range_min","range_max"]
param2: "static_value"

Hiperparameter statis memiliki struktur berikut:

"StaticHyperParameters": {
    "objective" : "reg:squarederror",
    "dropout_rate": "0.3"
}  

Anda dapat menggunakan Amazon SageMaker API untuk menentukan pasangan nilai kunci di StaticHyperParametersbidang HyperParameterTrainingJobDefinition parameter yang Anda berikan ke CreateHyperParameterTuningJoboperasi.

Hiperparameter dinamis

Anda dapat menggunakan SageMaker API untuk menentukan rentang hyperparameter. Tentukan nama hyperparameters dan rentang nilai di ParameterRanges bidang HyperParameterTuningJobConfig parameter yang Anda berikan ke CreateHyperParameterTuningJoboperasi.

ParameterRangesBidang ini memiliki tiga subbidang: kategoris, bilangan bulat, dan kontinu. Anda dapat menentukan hingga 30 total (kategorik+integer+kontinu) hiperparameter yang dapat disetel untuk dicari.

Hyperparameter dinamis memiliki struktur berikut:

"ParameterRanges": {
    "CategoricalParameterRanges": [
        {
            "Name": "tree_method",
            "Values": ["auto", "exact", "approx", "hist"]
        }
    ],
    "ContinuousParameterRanges": [
        {
            "Name": "eta",
            "MaxValue" : "0.5",
            "MinValue": "0",
            "ScalingType": "Auto"
        }
    ],
    "IntegerParameterRanges": [
        {
            "Name": "max_depth",
            "MaxValue": "10",
            "MinValue": "1",
            "ScalingType": "Auto"
        }
    ]
}

Jika Anda membuat pekerjaan penyetelan dengan Grid strategi, Anda hanya dapat menentukan nilai kategoris. Anda tidak perlu menyediakanMaxNumberofTrainingJobs. Nilai ini disimpulkan dari jumlah total konfigurasi yang dapat dihasilkan dari parameter kategoris Anda. Jika ditentukan, nilai MaxNumberOfTrainingJobs harus sama dengan jumlah total kombinasi kategoris yang berbeda mungkin.

Autotune

Untuk menghemat waktu dan sumber daya mencari rentang hiperparameter, sumber daya, atau metrik objektif, autotune dapat secara otomatis menebak nilai optimal untuk beberapa bidang hyperparameter. Gunakan autotune untuk menemukan nilai optimal untuk bidang berikut:

Untuk menggunakan autotune, lakukan hal berikut:

AMTakan menentukan apakah hyperparameters dan nilai contoh Anda memenuhi syarat untuk autotune. Hyperparameter yang dapat digunakan dalam autotune secara otomatis ditetapkan ke jenis rentang parameter yang sesuai. Kemudian, AMT gunakan ValueHint untuk memilih rentang optimal untuk Anda. Anda dapat menggunakan DescribeHyperParameterTrainingJob API untuk melihat rentang ini.

Contoh berikut menunjukkan cara mengkonfigurasi pekerjaan tuning yang menggunakan autotune. Dalam contoh konfigurasi, hyperparameter max_depth telah ValueHint berisi nilai contoh dari. 4

config = {
    'Autotune': {'Mode': 'Enabled'},
    'HyperParameterTuningJobName':'my-autotune-job',
    'HyperParameterTuningJobConfig': {
        'HyperParameterTuningJobObjective': {'Type': 'Minimize', 'MetricName': 'validation:rmse'},
        'ResourceLimits': {'MaxNumberOfTrainingJobs': 5, 'MaxParallelTrainingJobs': 1},
        'ParameterRanges': {       
            'AutoParameters': [
                {'Name': 'max_depth', 'ValueHint': '4'}
            ]
        }
    },
    'TrainingJobDefinition': {
    .... }

Melanjutkan contoh sebelumnya, pekerjaan penyetelan dibuat setelah konfigurasi sebelumnya disertakan dalam panggilan ke CreateHyperParameterTuningJobAPI. Kemudian, autotune mengubah max_depth hyperparameter menjadi hyperparameter. AutoParameters IntegerParameterRanges Tanggapan berikut dari a DescribeHyperParameterTrainingJob API menunjukkan bahwa yang optimal IntegerParameterRanges untuk max_depth adalah antara 2 dan8.

{
    'HyperParameterTuningJobName':'my_job',
    'HyperParameterTuningJobConfig': {
        'ParameterRanges': {
            'IntegerParameterRanges': [
                {'Name': 'max_depth', 'MinValue': '2', 'MaxValue': '8'},
            ],
        }
    },
    'TrainingJobDefinition': {
        ...
    },
    'Autotune': {'Mode': 'Enabled'}
    
}

Jenis penskalaan hyperparameter

Untuk rentang hiperparameter integer dan kontinu, Anda dapat memilih skala yang ingin digunakan oleh penyetelan hyperparameter. Misalnya, untuk mencari rentang nilai, Anda dapat menentukan nilai untuk ScalingType bidang rentang hyperparameter. Anda dapat memilih dari jenis penskalaan hyperparameter berikut:

Untuk contoh notebook yang menggunakan penskalaan hyperparameter, lihat contoh SageMaker hyperparameter Amazon ini di. GitHub