本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
調整NTM模型
自動模型調校,又稱為超參數調校,會透過在您的資料集上,執行許多測試超參數範圍的任務,來尋找最佳版本的模型。您可以選擇可調校的超參數、每一個超參數的值範圍,及目標指標。您可以從演算法運算的指標中選擇目標指標。自動模型調校會搜尋所選擇的超參數,以找出產生之模型可最佳化目標指標的值組合。
Amazon SageMaker NTM 是一種非監督式學習演算法,可學習大量離散資料收集的潛伏表示法,例如文件的 corpus。潛在表達會使用未經直接測量的推論變數,以在資料集中建立觀察的模型。上的自動模型調校NTM可協助您找到模型,將訓練或驗證資料的損失降至最低。訓練損失可測量模型與訓練資料的適合程度。驗證損失可測量模型對未受訓練之資料的普遍化程度。低訓練損失表示模型與訓練資料非常適合。低驗證損失表示模型並未過度擬合訓練資料,因此應該能夠依據未訓練成功的文件建立模型。通常,這兩項損失資料都建議偏低。不過,將訓練損失降至最低時,可能會導致過度擬合並提高驗證損失,這會降低模型的普遍性。
如需模型調校的詳細資訊,請參閱使用 自動模型調校 SageMaker。
NTM 演算法運算的指標
NTM 演算法會報告訓練期間計算的單一指標:validation:total_loss
。總損失為重建損失和 Kullback-Leibler 散度的總和。調校超參數值時,請選擇此指標做為目標。
指標名稱 | 描述 | 最佳化方向 |
---|---|---|
validation:total_loss |
驗證組的總損失 |
最小化 |
可調整超NTM參數
您可以調整NTM演算法的下列超參數。通常,將 mini_batch_size
和 learning_rate
設為較小的值可降低驗證損失,但可能需要更長的訓練時間。低驗證損失不一定能比人為轉譯產生更多連貫主題。其他超參數對訓練和驗證損失的影響可能因資料集而異。若要查看哪些值相容,請參閱NTM 超參數。
參數名稱 | 參數類型 | 建議範圍 |
---|---|---|
encoder_layers_activation |
CategoricalParameterRanges |
['sigmoid', 'tanh', 'relu'] |
learning_rate |
ContinuousParameterRange |
MinValue:1e-4, MaxValue:0.1 |
mini_batch_size |
IntegerParameterRanges |
MinValue:16, MaxValue:2048 |
optimizer |
CategoricalParameterRanges |
['sgd', 'adam', 'adadelta'] |
rescale_gradient |
ContinuousParameterRange |
MinValue:0.1、 MaxValue:1.0 |
weight_decay |
ContinuousParameterRange |
MinValue:0.0、 MaxValue:1.0 |