NTM 超參數 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

NTM 超參數

下表列出您可以為 Amazon SageMaker Neural Topic Model (NTM) 演算法設定的超參數。

參數名稱 描述

feature_dim

資料集的詞彙數量。

必要

有效值:正整數 (最小:1、最大:1,000,000)

num_topics

必要主題的數量。

必要

有效值:正整數 (最小:2、最大:1000)

batch_norm

是否在訓練期間使用批次標準化。

選用

有效值:truefalse

預設值:false

clip_gradient

每個梯度元件的最大量級。

選用

有效值:浮點數 (最低:1e-3)

預設值:無限

encoder_layers

編碼器中的層數量以及各層的輸出大小。當設定為 auto 時,演算法會分別使用大小為 3 x num_topics 和 2 x num_topics 的兩個層。

選用

有效值:正整數的逗號分隔清單或 auto

預設值:auto

encoder_layers_activation

用於編碼器層的啟用功能。

選用

有效值:

預設值:sigmoid

epochs

針對訓練資料的最高傳遞次數。

選用

有效值:正整數 (最低:1)

預設值:50

learning_rate

最佳化工具的學習率。

選用

有效值:浮點數 (最低:1e-6、最高:1.0)

預設值:0.001

mini_batch_size

每一個迷你批次中的範例數。

選用

有效值:正整數 (最小:1、最大:10000)

預設值:256

num_patience_epochs

要對其評估提早停止條件的連續 epoch 數量。當損失函式中的變更低於最後 num_patience_epochs 個 epoch 數內指定的 tolerance 時,即會觸發提前停止。若要停用提早停止,請將 num_patience_epochs 設為大於 epochs 的值。

選用

有效值:正整數 (最低:1)

預設值:3

optimizer

用於訓練的最佳化工具。

選用

有效值:

預設值:adadelta

rescale_gradient

梯度的重新調整因子。

選用

有效值:浮點數 (最低:1e-3、最高:1.0)

預設值:1.0

sub_sample

要針對每個 epoch 訓練取樣的部分訓練資料。

選用

有效值:浮點數 (最低:0.0、最高:1.0)

預設值:1.0

tolerance

損失函式的最大相對變更。當損失函式中的變更低於最後 num_patience_epochs 個 epoch 數內的此值時,即會觸發提前停止。

選用

有效值:浮點數 (最低:1e-6、最高:0.1)

預設值:0.001

weight_decay

權重衰減係數。新增 L2 正規化。

選用

有效值:浮點數 (最低:0.0、最高:1.0)

預設值:0.0