因子分解机超参数 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

因子分解机超参数

下表包含因子分解机算法的超参数。这些是由用户设置的参数，以便于从数据中评估模型参数。首先，按字母顺序列出必须设置的所需超参数。接下来，也按字母顺序列出可以设置的可选超参数。

参数名称 描述
feature_dim

输入特征空间的维度。对于稀疏输入，这可能非常高。

必填

有效值：正整数。建议的值范围：[10000,10000000]
num_factors

因子分解的维度。

必填

有效值：正整数。建议的值范围：[2,1000]，值 64 通常会得到较好的结果，是一个很好的起点。
predictor_type

预测器的类型。

  • binary_classifier：对于二元分类任务。

  • regressor：对于回归任务。

必填

有效值：字符串：binary_classifier 或 regressor
bias_init_method

偏置项的初始化方法：

  • normal：使用从正态分布采样的随机值对权重进行初始化，平均值为零且标准差由 bias_init_sigma 指定。

  • uniform：使用从 [-bias_init_scale, +bias_init_scale] 指定的范围均匀采样的随机值对权重进行初始化。

  • constant：将权重初始化为 bias_init_value 指定的标量值。

可选

有效值：uniform、normal 或 constant

默认值：normal
bias_init_scale

偏置项的初始化范围。在 bias_init_method 设置为 uniform 时生效。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：无。
bias_init_sigma

偏置项的初始化标准差。在 bias_init_method 设置为 normal 时生效。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：0.01
bias_init_value

偏置项的初始值。在 bias_init_method 设置为 constant 时生效。

可选

有效值：浮点值。建议的值范围：[1e-8, 512]。

默认值：无。
bias_lr

偏置项的学习率。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：0.1
bias_wd

偏置项的权重衰减。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：0.01
clip_gradient

梯度裁剪优化程序参数。通过投射到间隔 [-clip_gradient, +clip_gradient] 来剪辑梯度。

可选

有效值：浮点值

默认值：无。
epochs

要运行的训练纪元数。

可选

有效值：正整数

默认值：1
eps

Epsilon 参数，以避免被 0 除。

可选

有效值：浮点值。建议的值：小。

默认值：无。
factors_init_method

因子分解项的初始化方法：

  • normal 使用从正态分布采样的随机值对权重进行初始化，平均值为零且标准差由 factors_init_sigma 指定。

  • uniform：使用从 [-factors_init_scale, +factors_init_scale] 指定的范围均匀采样的随机值对权重进行初始化。

  • constant：将权重初始化为 factors_init_value 指定的标量值。

可选

有效值：uniform、normal 或 constant。

默认值：normal
factors_init_scale

因子分解项的初始化范围。在 factors_init_method 设置为 uniform 时生效。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：无。
factors_init_sigma

因子分解项的初始化标准差。在 factors_init_method 设置为 normal 时生效。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：0.001
factors_init_value

因子分解项的初始值。在 factors_init_method 设置为 constant 时生效。

可选

有效值：浮点值。建议的值范围：[1e-8, 512]。

默认值：无。
factors_lr

因子分解项的学习率。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：0.0001
factors_wd

因子分解项的权重衰减。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：0.00001
linear_lr

线性项的学习率。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：0.001
linear_init_method

线性项的初始化方法：

  • normal 使用从正态分布采样的随机值对权重进行初始化，平均值为零且标准差由 linear_init_sigma 指定。

  • uniform 使用从 [-linear_init_scale, +linear_init_scale] 指定的范围均匀采样的随机值对权重进行初始化。

  • constant 将权重初始化为 linear_init_value 指定的标量值。

可选

有效值：uniform、normal 或 constant。

默认值：normal
linear_init_scale

线性项的初始化范围。在 linear_init_method 设置为 uniform 时生效。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：无。
linear_init_sigma

线性项的初始化标准差。在 linear_init_method 设置为 normal 时生效。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：0.01
linear_init_value

线性项的初始值。在 linear_init_method 设置为 constant 时生效。

可选

有效值：浮点值。建议的值范围：[1e-8, 512]。

默认值：无。
linear_wd

线性项的权重衰减。

可选

有效值：非负浮点值。建议的值范围：[1e-8, 512]。

默认值：0.001
mini_batch_size

用于训练的小批次大小。

可选

有效值：正整数

默认值：1000
rescale_grad

梯度重新扩展优化程序参数。如果设置，则在更新之前将梯度与 rescale_grad 相乘。通常选择为 1.0/batch_size。

可选

有效值：浮点值

默认值：无。