調整NTM模型 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

調整NTM模型

自動模型調校,又稱為超參數調校,會透過在您的資料集上,執行許多測試超參數範圍的任務,來尋找最佳版本的模型。您可以選擇可調校的超參數、每一個超參數的值範圍,及目標指標。您可以從演算法運算的指標中選擇目標指標。自動模型調校會搜尋所選擇的超參數,以找出產生之模型可最佳化目標指標的值組合。

Amazon SageMaker NTM 是一種非監督式學習演算法,可學習大量離散資料收集的潛伏表示法,例如文件的 corpus。潛在表達會使用未經直接測量的推論變數,以在資料集中建立觀察的模型。上的自動模型調校NTM可協助您找到模型,將訓練或驗證資料的損失降至最低。訓練損失可測量模型與訓練資料的適合程度。驗證損失可測量模型對未受訓練之資料的普遍化程度。低訓練損失表示模型與訓練資料非常適合。低驗證損失表示模型並未過度擬合訓練資料,因此應該能夠依據未訓練成功的文件建立模型。通常,這兩項損失資料都建議偏低。不過,將訓練損失降至最低時,可能會導致過度擬合並提高驗證損失,這會降低模型的普遍性。

如需模型調校的詳細資訊,請參閱使用 自動模型調校 SageMaker

NTM 演算法運算的指標

NTM 演算法會報告訓練期間計算的單一指標:validation:total_loss。總損失為重建損失和 Kullback-Leibler 散度的總和。調校超參數值時,請選擇此指標做為目標。

指標名稱 描述 最佳化方向
validation:total_loss

驗證組的總損失

最小化

可調整超NTM參數

您可以調整NTM演算法的下列超參數。通常,將 mini_batch_sizelearning_rate 設為較小的值可降低驗證損失,但可能需要更長的訓練時間。低驗證損失不一定能比人為轉譯產生更多連貫主題。其他超參數對訓練和驗證損失的影響可能因資料集而異。若要查看哪些值相容,請參閱NTM 超參數

參數名稱 參數類型 建議範圍
encoder_layers_activation

CategoricalParameterRanges

['sigmoid', 'tanh', 'relu']

learning_rate

ContinuousParameterRange

MinValue:1e-4, MaxValue:0.1

mini_batch_size

IntegerParameterRanges

MinValue:16, MaxValue:2048

optimizer

CategoricalParameterRanges

['sgd', 'adam', 'adadelta']

rescale_gradient

ContinuousParameterRange

MinValue:0.1、 MaxValue:1.0

weight_decay

ContinuousParameterRange

MinValue:0.0、 MaxValue:1.0