Régler un modèle seq2seq - Amazon SageMaker
MétriquesHyperparamètres réglables

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Régler un modèle seq2seq

Le réglage de modèle automatique, ou réglage d'hyperparamètre, détecte la meilleure version d'un modèle en exécutant plusieurs tâches qui testent une plage d'hyperparamètres sur votre jeu de données. Vous choisissez les hyperparamètres réglables, une plage de valeurs pour chacun d'eux et une métrique d'objectif. Vous choisissez la métrique d'objectif parmi les métriques que calcule l'algorithme. Le réglage de modèle automatique recherche parmi les hyperparamètres choisis la combinaison de valeurs qui produira un modèle permettant d'optimiser la métrique d'objectif.

Pour plus d'informations sur le réglage de modèle, consultez Effectuez le réglage automatique du modèle avec SageMaker.

Métriques calculées par l'algorithme seq2seq

L'algorithme seq2seq rapporte trois métriques qui sont calculées au cours de la formation. Choisissez l'une d'entre elles en tant qu'objectif à optimiser lors du réglage des valeurs des hyperparamètres.

Nom de la métrique Description Orientation de l'optimisation
validation:accuracy

Précision calculée sur l'ensemble de données de validation.

Agrandir
validation:bleu

Bleu Score calculé sur l'ensemble de données de validation. Comme le calcul de BLEU est onéreux, vous pouvez choisir de calculer BLEU sur un sous-échantillon aléatoire de l'ensemble de données de validation pour accélérer le processus global de formation. Utilisez le paramètre bleu_sample_size pour spécifier le sous-échantillon.

Agrandir
validation:perplexity

Perplexity, fonction perte calculée sur l'ensemble de données de validation. Perplexity mesure l'entropie croisée entre un échantillon empirique et la distribution prédite par un modèle. La fonction fournit ainsi une mesure de la façon dont un modèle prédit les exemples de valeurs. Les modèles adaptés à la prédiction d'un échantillon ont une perplexité faible.

Réduire

Hyperparamètres seq2seq réglables

Vous pouvez régler les hyperparamètres suivants pour l'algorithme SageMaker Sequence to Sequence. Les hyperparamètres ayant le plus d'impact sur les métriques d'objectif de seq2seq sont : batch_size, optimizer_type, learning_rate, num_layers_encoder et num_layers_decoder.

Nom du paramètre Type de paramètre Plages recommandées
num_layers_encoder

IntegerParameterRange

[1-10]
num_layers_decoder

IntegerParameterRange

[1-10]
batch_size

CategoricalParameterRange

[16,32,64,128,256,512,1024,2048]
optimizer_type

CategoricalParameterRange

['adam', 'sgd', 'rmsprop']
weight_init_type

CategoricalParameterRange

['xavier', 'uniform']
weight_init_scale

ContinuousParameterRange

Pour le type xavier : MinValue : 2.0, MaxValue : 3.0 Pour le type uniforme : MinValue : -1.0, MaxValue : 1.0
learning_rate

ContinuousParameterRange

MinValue: 0,00005, MaxValue 0,2
weight_decay

ContinuousParameterRange

MinValue: 0,0, MaxValue 0,1
momentum

ContinuousParameterRange

MinValue: 0,5, MaxValue 0,9
clip_gradient

ContinuousParameterRange

MinValue: 1,0, MaxValue 5,0
rnn_num_hidden

CategoricalParameterRange

Applicable uniquement aux réseaux neuronaux récurrents (RNN). [128,256,512,1024,2048]

cnn_num_hidden

CategoricalParameterRange

Applicable uniquement aux réseaux neuronaux convolutifs (CNN). [128,256,512,1024,2048]

num_embed_source

IntegerParameterRange

[256-512]
num_embed_target

IntegerParameterRange

[256-512]
embed_dropout_source

ContinuousParameterRange

MinValue: 0,0, MaxValue 0,5
embed_dropout_target

ContinuousParameterRange

MinValue: 0,0, MaxValue 0,5
rnn_decoder_hidden_dropout

ContinuousParameterRange

MinValue: 0,0, MaxValue 0,5
cnn_hidden_dropout

ContinuousParameterRange

MinValue: 0,0, MaxValue 0,5
lr_scheduler_type

CategoricalParameterRange

['plateau_reduce', 'fixed_rate_inv_t', 'fixed_rate_inv_sqrt_t']
plateau_reduce_lr_factor

ContinuousParameterRange

MinValue: 0,1, MaxValue 0,5
plateau_reduce_lr_threshold

IntegerParameterRange

[1-5]
fixed_rate_lr_half_life

IntegerParameterRange

[10-30]