Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exécution d'une tâche de réglage des hyperparamètres avec démarrage à chaud

Utilisez le démarrage à chaud pour lancer une tâche de réglage d'hyperparamètres en utilisant une ou plusieurs tâches de réglage précédentes comme point de départ. Les résultats des tâches de réglage précédentes permettent d'indiquer les combinaisons d'hyperparamètres sur lesquelles se concentrer pour la nouvelle tâche de réglage. Le réglage des hyperparamètres utilise la recherche bayésienne ou la recherche aléatoire pour choisir des combinaisons de valeurs d'hyperparamètres à partir des plages que vous spécifiez. Pour de plus amples informations, veuillez consulter Comment fonctionne le réglage des hyperparamètres avec Amazon SageMaker . L'emploi d'informations issues de tâches de réglage d'hyperparamètres précédentes peut améliorer les performances de la nouvelle tâche de réglage des hyperparamètres grâce à une recherche plus efficace de la meilleure combinaison des hyperparamètres.

Certaines raisons d'envisager un démarrage à chaud :

Types de tâches de réglage avec démarrage à chaud

Il existe deux différents types de tâches de réglage avec démarrage à chaud :

Restrictions relatives au réglage avec démarrage à chaud

Les restrictions suivantes s'appliquent à toutes les tâches de réglage avec démarrage à chaud :

Exemple de bloc-notes de réglage avec démarrage à chaud

Pour un exemple de bloc-notes expliquant comment utiliser le réglage du démarrage à chaud, voir https://github.com/awslabs/amazon-sagemaker-examples/blob/master/hyperparameter_tuning/image_classification_warmstart/hpo_image_classification_warmstart.ipynb. Pour savoir comment créer et accéder à des instances de bloc-notes Jupyter dans lesquelles vous pouvez exécuter l'exemple SageMaker, consultez. Exemples de blocs-notes Une fois que vous avez créé une instance de bloc-notes et que vous l'avez ouverte, sélectionnez l'onglet SageMaker Exemples pour afficher la liste de tous les SageMaker exemples. L'exemple de bloc-notes de réglage avec démarrage à chaud se trouve dans la section Réglage des hyperparamètres et s'appelle hpo_image_classification_warmstart.ipynb. Pour ouvrir un bloc-notes, cliquez sur son onglet Use (Utiliser) et sélectionnez Create copy (Créer une copie).

Création d'une tâche de réglage avec démarrage à chaud

Vous pouvez utiliser le Python de bas niveau AWS SDK (Boto 3) ou le SageMaker Python de haut niveau SDK pour créer une tâche de réglage à chaud.

Create a Warm Start Tuning Job (niveau bas SageMaker API pour Python (Boto 3))

Pour utiliser le réglage avec démarrage à chaud, vous devez spécifier les valeurs d'un objet HyperParameterTuningJobWarmStartConfig et les transmettre avec le champ WarmStartConfig dans un appel à CreateHyperParameterTuningJob.

Le code suivant montre comment créer un HyperParameterTuningJobWarmStartConfigobjet et le transmettre à une CreateHyperParameterTuningJobtâche en utilisant le bas niveau SageMaker API pour Python (Boto 3).

Création de l'objet HyperParameterTuningJobWarmStartConfig :

warm_start_config = {
          "ParentHyperParameterTuningJobs" : [
          {"HyperParameterTuningJobName" : 'MyParentTuningJob'}
          ],
          "WarmStartType" : "IdenticalDataAndAlgorithm"
}

Créez la tâche de réglage avec démarrage à chaud :

smclient = boto3.Session().client('sagemaker')
smclient.create_hyper_parameter_tuning_job(HyperParameterTuningJobName = 'MyWarmStartTuningJob',
   HyperParameterTuningJobConfig = tuning_job_config, # See notebook for tuning configuration
   TrainingJobDefinition = training_job_definition, # See notebook for job definition
   WarmStartConfig = warm_start_config)

Création d'un job de réglage Warm Start (SageMakerPythonSDK)

Pour utiliser Amazon SageMaker Python SDK afin d'exécuter une tâche de réglage au démarrage à chaud, vous devez :

Pour plus d'informations sur l'utilisation d'Amazon SageMaker Python SDK pour le réglage des hyperparamètres, consultez https://github.com/aws/sagemaker-pysagemaker-automatic-model-tuningthon-sdk#.

Cet exemple utilise un évaluateur qui utilise l'algorithme Classification des images – MXNet pour l'entraînement. Le code suivant définit les plages d'hyperparamètres sur lesquelles portent la recherche de la tâche de réglage avec démarrage à chaud afin de trouver la meilleure combinaison de valeurs. Pour plus d'informations sur la configuration des plages d'hyperparamètres, consultez Définition des plages d'hyperparamètres.

hyperparameter_ranges = {'learning_rate': ContinuousParameter(0.0, 0.1),
                         'momentum': ContinuousParameter(0.0, 0.99)}

Le code suivant configure la tâche de réglage avec démarrage à chaud job en créant un objet WarmStartConfig.

from sagemaker.tuner import WarmStartConfig,WarmStartTypes

parent_tuning_job_name = "MyParentTuningJob"
warm_start_config = WarmStartConfig(warm_start_type=WarmStartTypes.IDENTICAL_DATA_AND_ALGORITHM, parents={parent_tuning_job_name})

Définissez ensuite les valeurs des hyperparamètres statiques, qui sont des hyperparamètres qui conservent la même valeur pour chaque tâche d'entraînement lancée par la tâche de réglage avec démarrage à chaud. Dans le code suivant, imageclassification est un évaluateur qui a été créé précédemment.

imageclassification.set_hyperparameters(num_layers=18,
                                        image_shape='3,224,224',
                                        num_classes=257,
                                        num_training_samples=15420,
                                        mini_batch_size=128,
                                        epochs=30,
                                        optimizer='sgd',
                                        top_k='2',
                                        precision_dtype='float32',
                                        augmentation_type='crop')

À présent, créez l'objet HyperparameterTuner et transmettez l'objet WarmStartConfig créé précédemment comme argument warm_start_config.

tuner_warm_start = HyperparameterTuner(imageclassification,
                            'validation:accuracy',
                            hyperparameter_ranges,
                            objective_type='Maximize',
                            max_jobs=10,
                            max_parallel_jobs=2,
                            base_tuning_job_name='warmstart',
                            warm_start_config=warm_start_config)

Terminez en appelant la méthode fit de l'objet HyperparameterTuner pour lancer la tâche de réglage avec démarrage à chaud.

tuner_warm_start.fit(
        {'train': s3_input_train, 'validation': s3_input_validation},
        include_cls_metadata=False)