Factorization Machines 超參數 - Amazon SageMaker

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Factorization Machines 超參數

下表包含因式分解機演算法的超參數。這些是由使用者設定的參數，用來協助從資料預估模型參數。首先列出的是必須設定的超參數，依字母順序排列。接著列出的是選用的超參數，也是依字母順序排列。

參數名稱 描述
feature_dim

輸入特徵空間的維度。在稀疏輸入中，此值可能極高。

必要

有效值：正整數。建議值範圍：[10000,10000000]
num_factors

因式分解的維數。

必要

有效值：正整數。建議值範圍：[2,1000]，64 通常會產生良好的結果，而且是一個很好的起點。
predictor_type

預測器的類型。

  • binary_classifier：適用於二元分類任務。

  • regressor：適用於迴歸任務。

必要

有效值：字串：binary_classifier 或 regressor
bias_init_method

偏差項的初始化方式：

  • normal：採用取樣自常態分布的隨機數值將權重初始化，使其平均值為零，標準偏差需透過 bias_init_sigma 指定。

  • uniform：透過 [-bias_init_scale, +bias_init_scale] 指定範圍，並採用統一取樣自該範圍的隨機數值，將權重初始化。

  • constant：採用 bias_init_value 指定的純量值，將權重初始化。

選用

有效值：uniform、normal 或 constant

預設值：normal
bias_init_scale

偏差項的初始化範圍。bias_init_method 設定為 uniform 時，才會生效。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：無
bias_init_sigma

偏差項的初始化標準偏差。bias_init_method 設定為 normal 時，才會生效。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：0.01
bias_init_value

偏差項的初始值。bias_init_method 設定為 constant 時，才會生效。

選用

有效值：浮點數。建議值範圍：[1e-8, 512]。

預設值：無
bias_lr

偏差項的學習率。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：0.1
bias_wd

偏差項的權重衰減。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：0.01
clip_gradient

漸層梯度最佳化程式參數。在間隔 [-clip_gradient, +clip_gradient] 上輸入參數，即可剪裁梯度。

選用

有效值：浮點數

預設值：無
epochs

要執行的訓練 epoch 數量。

選用

有效值：正整數

預設值：1
eps

Epsilon 參數，以避免除以 0。

選用

有效值：浮點數。建議值：小。

預設值：無
factors_init_method

因式分解項的初始化方式：

  • normal 採用取樣自常態分布的隨機數值將權重初始化，使其平均值為零，標準偏差需透過 factors_init_sigma 指定。

  • uniform：透過 [-factors_init_scale, +factors_init_scale] 指定範圍，並採用統一取樣自該範圍的隨機數值，將權重初始化。

  • constant：採用 factors_init_value 指定的純量值，將權重初始化。

選用

有效值：uniform、normal 或 constant。

預設值：normal
factors_init_scale

因式分解項的初始化範圍。factors_init_method 設定為 uniform 時，才會生效。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：無
factors_init_sigma

因式分解項的初始化標準偏差。factors_init_method 設定為 normal 時，才會生效。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：0.001
factors_init_value

因式分解項的初始值。factors_init_method 設定為 constant 時，才會生效。

選用

有效值：浮點數。建議值範圍：[1e-8, 512]。

預設值：無
factors_lr

因式分解項的學習率。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：0.0001
factors_wd

因式分解項的權重衰減。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：0.00001
linear_lr

線性項的學習率。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：0.001
linear_init_method

線性項的初始化方式：

  • normal 採用取樣自常態分布的隨機數值將權重初始化，使其平均值為零，標準偏差需透過 linear_init_sigma 指定。

  • uniform 透過 [-linear_init_scale, +linear_init_scale] 指定範圍，並採用統一取樣自該範圍的隨機數值，將權重初始化。

  • constant 採用 linear_init_value 指定的純量值，將權重初始化。

選用

有效值：uniform、normal 或 constant。

預設值：normal
linear_init_scale

線性項的初始化範圍。linear_init_method 設定為 uniform 時，才會生效。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：無
linear_init_sigma

線性項的初始化標準偏差。linear_init_method 設定為 normal 時，才會生效。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：0.01
linear_init_value

線性項的初始值。linear_init_method 設定為 constant (固定) 時，才會生效。

選用

有效值：浮點數。建議值範圍：[1e-8, 512]。

預設值：無
linear_wd

線性項的權重衰減。

選用

有效值：非負浮點數。建議值範圍：[1e-8, 512]。

預設值：0.001
mini_batch_size

供訓練的小批量資料大小。

選用

有效值：正整數

預設值：1000
rescale_grad

漸層重新擴展最佳化程式參數。若設定完成，請先將梯度與 rescale_grad 相乘，再進行更新。通常會選擇 1.0/batch_size。

選用

有效值：浮點數

預設值：無