NTM超参数 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

NTM超参数

下表列出了您可以为 Amazon SageMaker 神经主题模型 (NTM) 算法设置的超参数。

参数名称 描述

feature_dim

数据集的词汇表大小。

必填

有效值:正整数 (最小值:1,最大值:1,000,000)

num_topics

所需的主题数。

必填

有效值:正整数 (最小值:2,最大值:1000)

batch_norm

在训练过程中是否使用批处理标准化。

可选

有效值:truefalse

默认值:false

clip_gradient

每个梯度组件的最大幅度。

可选

有效值:浮点型(最小值:1e-3)

默认值:无限

encoder_layers

编码器中的层数和每个层的输出大小。当设置为 auto 时,算法使用各自大小为 3 x num_topics 和 2 x num_topics 的两个层。

可选

有效值:逗号分隔的正整数列表或 auto

默认值:auto

encoder_layers_activation

要在编码器层中使用的激活函数。

可选

有效值:

默认值:sigmoid

epochs

扫描训练数据的最大次数。

可选

有效值:正整数(最小值:1)

默认值:50

learning_rate

优化程序的学习率。

可选

有效值:浮点型(最小值:1e-6,最大值:1.0)

默认值:0.001

mini_batch_size

每个小批量中的示例数。

可选

有效值:正整数 (最小值:1,最大值:10000)

默认值:256

num_patience_epochs

计算提前停止标准所依据的连续纪元数。当损失函数的变化在最近 num_patience_epochs 个纪元内低于指定 tolerance 时,将触发提前停止。要禁用提早停止,请将 num_patience_epochs 设置为一个大于 epochs 的值。

可选

有效值:正整数(最小值:1)

默认值:3

optimizer

用于训练的优化程序。

可选

有效值:

默认值:adadelta

rescale_gradient

梯度的缩放因子。

可选

有效值:浮点型(最小值:1e-3,最大值:1.0)

默认值:1.0

sub_sample

每个纪元中要采样用于训练的训练数据的一部分。

可选

有效值:浮点型(最小值:0.0,最大值:1.0)

默认值:1.0

tolerance

损失函数的最大相对变化。当损失函数的变化在最近 num_patience_epochs 个纪元内低于此值时,将触发提前停止。

可选

有效值:浮点型(最小值:1e-6,最大值:0.1)

默认值:0.001

weight_decay

权重衰减系数。添加 L2 正则化。

可选

有效值:浮点型(最小值:0.0,最大值:1.0)

默认值:0.0