Ottimizzazione di un modello Sequence-to-Sequence - Amazon SageMaker
MetricheIperparametri ottimizzabili

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ottimizzazione di un modello Sequence-to-Sequence

L'ottimizzazione automatica dei modelli, nota anche come ottimizzazione degli iperparametri, trova la versione migliore di un modello eseguendo molti processi che testano un intervallo di iperparametri sul set di dati. Scegli gli iperparametri ottimizzabili, un intervallo di valori per ciascuno di essi e un parametro obiettivo. Puoi scegliere il parametro obiettivo tra i parametri calcolati dall'algoritmo. L'ottimizzazione automatica del modello ricerca gli iperparametri scelti per trovare la combinazione di valori che restituisce il modello che ottimizza il parametro obiettivo.

Per ulteriori informazioni sull'ottimizzazione del modello, consulta Esegui l'ottimizzazione automatica del modello con SageMaker.

Parametri calcolati dall'algoritmo Sequence-to-Sequence

L'algoritmo sequence to sequence restituisce tre parametri che vengono calcolati durante il training. Scegline uno come obiettivo da ottimizzare durante l'ottimizzazione dei valori degli iperparametri.

Nome parametro Descrizione Direzione dell'ottimizzazione
validation:accuracy

Accuratezza calcolata su un set di dati di convalida.

Massimizza
validation:bleu

Punteggio Bleu calcolato su un set di dati di convalida. Poiché il calcolo BLEU è costoso, puoi scegliere di eseguirlo su un sottocampione casuale del set di dati di convalida per accelerare il processo di training in generale. Utilizza il parametro bleu_sample_size per specificare il sottocampione.

Massimizza
validation:perplexity

Perplexity, è una funzione di perdita calcolata su un set di dati di convalida. Perplexity misura l'entropia incrociata tra un esempio empirico e la distribuzione predetta da un modello e quindi fornisce una misura che indica il livello di attendibilità delle predizioni dei valori di esempio, i modelli in grado di predire un esempio hanno un valore di Perplexity basso.

Minimizza

Iperparametri ottimizzabili dell'algoritmo Sequence-to-Sequence

È possibile ottimizzare i seguenti iperparametri per l'algoritmo Sequence to Sequence SageMaker . Gli iperparametri che hanno il maggiore impatto sui parametri obiettivo sequence to sequence sono: batch_size, optimizer_type, learning_rate, num_layers_encoder e num_layers_decoder.

Nome parametro Tipo parametro Intervalli consigliati
num_layers_encoder

IntegerParameterRange

[1-10]
num_layers_decoder

IntegerParameterRange

[1-10]
batch_size

CategoricalParameterRange

[16,32,64,128,256,512,1024,2048]
optimizer_type

CategoricalParameterRange

['adam', 'sgd', 'rmsprop']
weight_init_type

CategoricalParameterRange

['xavier', 'uniform']
weight_init_scale

ContinuousParameterRange

Per il tipo xavier:: 2.0, MinValue MaxValue: 3.0 Per il tipo uniforme:: -1.0, MinValue: 1.0 MaxValue
learning_rate

ContinuousParameterRange

MinValue: 0,0005, 0,2 MaxValue
weight_decay

ContinuousParameterRange

MinValue: 0,0, 0,1 MaxValue
momentum

ContinuousParameterRange

MinValue: 0,5, MaxValue 0,9
clip_gradient

ContinuousParameterRange

MinValue: 1,0, MaxValue: 5,0
rnn_num_hidden

CategoricalParameterRange

Applicabile solo per reti neurali ricorrenti (RNN). [128,256,512,1024,2048]

cnn_num_hidden

CategoricalParameterRange

Applicabile solo per reti neurali convoluzionali (CNN). [128,256,512,1024,2048]

num_embed_source

IntegerParameterRange

[256-512]
num_embed_target

IntegerParameterRange

[256-512]
embed_dropout_source

ContinuousParameterRange

MinValue: 0,0, MaxValue 0,5
embed_dropout_target

ContinuousParameterRange

MinValue: 0,0, MaxValue 0,5
rnn_decoder_hidden_dropout

ContinuousParameterRange

MinValue: 0,0, MaxValue 0,5
cnn_hidden_dropout

ContinuousParameterRange

MinValue: 0,0, MaxValue 0,5
lr_scheduler_type

CategoricalParameterRange

['plateau_reduce', 'fixed_rate_inv_t', 'fixed_rate_inv_sqrt_t']
plateau_reduce_lr_factor

ContinuousParameterRange

MinValue: 0,1, MaxValue 0,5
plateau_reduce_lr_threshold

IntegerParameterRange

[1-5]
fixed_rate_lr_half_life

IntegerParameterRange

[10-30]