調整 Sequence-to-Sequence模型 - Amazon SageMaker
指標可調校的超參數

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

調整 Sequence-to-Sequence模型

自動模型調校，又稱為超參數調校，會透過在您的資料集上，執行許多測試超參數範圍的任務，來尋找最佳版本的模型。您可以選擇可調校的超參數、每一個超參數的值範圍，及目標指標。您可以從演算法運算的指標中選擇目標指標。自動模型調校會搜尋所選擇的超參數，以找出產生之模型可最佳化目標指標的值組合。

如需模型調校的詳細資訊，請參閱使用 自動模型調校 SageMaker。

演算法運算的 Sequence-to-Sequence指標

序列對序列演算法會報告三個在訓練期間運算的指標。請在調校超參數值時選擇其中一個做為目標，以進行最佳化。

指標名稱 描述 最佳化方向
validation:accuracy

驗證資料集上運算的準確度。

最大化
validation:bleu

驗證資料集上運算的 Bleu 分數。由於BLEU運算費用高昂，您可以選擇在驗證資料集的隨機子樣本BLEU上運算，以加快整體訓練程序。使用 bleu_sample_size 參數來指定部分樣本。

最大化
validation:perplexity

Perplexity，即在驗證資料集上運算的損失函式。Perplexity (困惑度) 會測量經驗樣本和模型所預測分布之間的交叉熵，藉此提供模型預測樣本值良好程度的指標。預測樣本時表現較佳的模型，困惑度較低。

最小化

可調 Sequence-to-Sequence超參數

您可以針對 SageMaker 序列到序列演算法調整下列超參數。對序列對序列目標指標影響程度最大的超參數為：batch_size、optimizer_type、learning_rate、num_layers_encoder 和 num_layers_decoder。

參數名稱 參數類型 建議範圍
num_layers_encoder

IntegerParameterRange

[1-10]
num_layers_decoder

IntegerParameterRange

[1-10]
batch_size

CategoricalParameterRange

[16,32,64,128,256,512,1024,2048]
optimizer_type

CategoricalParameterRange

['adam', 'sgd', 'rmsprop']
weight_init_type

CategoricalParameterRange

['xavier', 'uniform']
weight_init_scale

ContinuousParameterRange

對於 xavier 類型： MinValue：2.0， MaxValue：3.0 對於統一類型 MinValue：：-1.0， MaxValue：1.0
learning_rate

ContinuousParameterRange

MinValue：0.00005， MaxValue：0.2
weight_decay

ContinuousParameterRange

MinValue：0.0、 MaxValue：0.1
momentum

ContinuousParameterRange

MinValue：0.5、 MaxValue：0.9
clip_gradient

ContinuousParameterRange

MinValue：1.0、 MaxValue：5.0
rnn_num_hidden

CategoricalParameterRange

僅適用於遞歸神經網路 （RNNs）。[128,256,512,1024,2048]

cnn_num_hidden

CategoricalParameterRange

僅適用於卷積神經網路 （CNNs）。[128,256,512,1024,2048]

num_embed_source

IntegerParameterRange

[256-512]
num_embed_target

IntegerParameterRange

[256-512]
embed_dropout_source

ContinuousParameterRange

MinValue：0.0， MaxValue：0.5
embed_dropout_target

ContinuousParameterRange

MinValue：0.0， MaxValue：0.5
rnn_decoder_hidden_dropout

ContinuousParameterRange

MinValue：0.0， MaxValue：0.5
cnn_hidden_dropout

ContinuousParameterRange

MinValue：0.0， MaxValue：0.5
lr_scheduler_type

CategoricalParameterRange

['plateau_reduce', 'fixed_rate_inv_t', 'fixed_rate_inv_sqrt_t']
plateau_reduce_lr_factor

ContinuousParameterRange

MinValue：0.1、 MaxValue：0.5
plateau_reduce_lr_threshold

IntegerParameterRange

[1-5]
fixed_rate_lr_half_life

IntegerParameterRange

[10-30]