Régler un Sequence-to-Sequence modèle

Mode de mise au point

Régler un Sequence-to-Sequence modèle - Amazon SageMaker AI

Le réglage de modèle automatique, ou réglage d'hyperparamètre, détecte la meilleure version d'un modèle en exécutant plusieurs tâches qui testent une plage d'hyperparamètres sur votre jeu de données. Vous choisissez les hyperparamètres réglables, une plage de valeurs pour chacun d'eux et une métrique d'objectif. Vous choisissez la métrique d'objectif parmi les métriques que calcule l'algorithme. Le réglage de modèle automatique recherche parmi les hyperparamètres choisis la combinaison de valeurs qui produira un modèle permettant d'optimiser la métrique d'objectif.

Pour plus d'informations sur le réglage de modèle, consultez Réglage automatique du modèle grâce à l' SageMaker IA.

Métriques calculées par l' Sequence-to-Sequencealgorithme

L'algorithme seq2seq rapporte trois métriques qui sont calculées au cours de la formation. Choisissez l'une d'entre elles en tant qu'objectif à optimiser lors du réglage des valeurs des hyperparamètres.

Nom de la métrique	Description	Orientation de l'optimisation
`validation:accuracy`	Précision calculée sur l'ensemble de données de validation.	Agrandir
`validation:bleu`	Bleu Score calculé sur l'ensemble de données de validation. Comme le calcul de BLEU est onéreux, vous pouvez choisir de calculer BLEU sur un sous-échantillon aléatoire de l'ensemble de données de validation pour accélérer le processus global de formation. Utilisez le paramètre `bleu_sample_size` pour spécifier le sous-échantillon.	Agrandir
`validation:perplexity`	Perplexity, fonction perte calculée sur l'ensemble de données de validation. Perplexity mesure l'entropie croisée entre un échantillon empirique et la distribution prédite par un modèle. La fonction fournit ainsi une mesure de la façon dont un modèle prédit les exemples de valeurs. Les modèles adaptés à la prédiction d'un échantillon ont une perplexité faible.	Réduire

Hyperparamètres réglables Sequence-to-Sequence

Vous pouvez régler les hyperparamètres suivants pour l'algorithme SageMaker AI Sequence to Sequence. Les hyperparamètres ayant le plus d'impact sur les métriques d'objectif de seq2seq sont : batch_size, optimizer_type, learning_rate, num_layers_encoder et num_layers_decoder.

Nom du paramètre	Type de paramètre	Plages recommandées
`num_layers_encoder`	IntegerParameterRange	[1-10]
`num_layers_decoder`	IntegerParameterRange	[1-10]
`batch_size`	CategoricalParameterRange	[16,32,64,128,256,512,1024,2048]
`optimizer_type`	CategoricalParameterRange	['adam', 'sgd', 'rmsprop']
`weight_init_type`	CategoricalParameterRange	['xavier', 'uniform']
`weight_init_scale`	ContinuousParameterRange	Pour le type xavier : MinValue : 2.0, MaxValue : 3.0 Pour le type uniforme : MinValue : -1.0, MaxValue : 1.0
`learning_rate`	ContinuousParameterRange	MinValue: 0,00005, MaxValue 0,2
`weight_decay`	ContinuousParameterRange	MinValue: 0,0, MaxValue 0,1
`momentum`	ContinuousParameterRange	MinValue: 0,5, MaxValue 0,9
`clip_gradient`	ContinuousParameterRange	MinValue: 1,0, MaxValue 5,0
`rnn_num_hidden`	CategoricalParameterRange	Applicable uniquement aux réseaux neuronaux récurrents (RNNs). [128,256,512,1024,2048]
`cnn_num_hidden`	CategoricalParameterRange	Applicable uniquement aux réseaux neuronaux convolutifs ()CNNs. [128,256,512,1024,2048]
`num_embed_source`	IntegerParameterRange	[256-512]
`num_embed_target`	IntegerParameterRange	[256-512]
`embed_dropout_source`	ContinuousParameterRange	MinValue: 0,0, MaxValue 0,5
`embed_dropout_target`	ContinuousParameterRange	MinValue: 0,0, MaxValue 0,5
`rnn_decoder_hidden_dropout`	ContinuousParameterRange	MinValue: 0,0, MaxValue 0,5
`cnn_hidden_dropout`	ContinuousParameterRange	MinValue: 0,0, MaxValue 0,5
`lr_scheduler_type`	CategoricalParameterRange	['plateau_reduce', 'fixed_rate_inv_t', 'fixed_rate_inv_sqrt_t']
`plateau_reduce_lr_factor`	ContinuousParameterRange	MinValue: 0,1, MaxValue 0,5
`plateau_reduce_lr_threshold`	IntegerParameterRange	[1-5]
`fixed_rate_lr_half_life`	IntegerParameterRange	[10-30]

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Hyperparamètres

Classification du texte - TensorFlow

Sur cette page

Sélectionner vos préférences de cookies

Personnaliser les préférences de cookies

Essentiels

Performances

Fonctionnels

Publicitaires

Impossible d'enregistrer les préférences concernant les cookies

Régler un Sequence-to-Sequence modèle

Métriques calculées par l' Sequence-to-Sequencealgorithme

Hyperparamètres réglables Sequence-to-Sequence

Sur cette page

Cette page vous a-t-elle été utile ?

Rubrique suivante :

Rubrique précédente :

Avez-vous besoin d’aide ?