本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
调整NTM模型
自动模型优化(也称作超参数优化)通过运行很多在数据集上测试一系列超参数的作业来查找模型的最佳版本。您可以选择可优化超参数、每个超参数的值范围和一个目标指标。您可以从算法计算的指标中选择目标指标。自动模型优化将搜索所选超参数以找到导致优化目标指标的模型的值组合。
Amazon SageMaker NTM 是一种无监督学习算法,它可以学习大量离散数据(例如文档语料库)的潜在表示形式。潜在表示使用未直接测量的推理变量来对数据集中的观察值进行建模。自动调整模型NTM可帮助您找到能够最大限度地减少训练或验证数据损失的模型。训练损失 用于衡量模型适合训练数据的程度。验证损失 用于衡量模型可推广到未经过训练的数据的程度。低训练损失表明模型非常适合训练数据。低验证损失表明模型没有过拟合训练数据,因此应该能够对未经训练的文档成功进行建模。通常,两个损失最好都很小。但是,将训练损失降到最低可能会导致过拟合并增加验证损失,这会降低模型的通用性。
有关模型优化的更多信息,请参阅自动调整模型 SageMaker。
NTM算法计算的指标
该NTM算法报告训练期间计算的单个指标:validation:total_loss
. 总损失是重建损失和 Kullback-Leibler 分歧的总和。优化超参数值时,请选择此指标作为目标。
指标名称 | 描述 | 优化方向 |
---|---|---|
validation:total_loss |
验证集上的总损失 |
最小化 |
可调超参数 NTM
您可以调整该NTM算法的以下超参数。通常设置低 mini_batch_size
和小 learning_rate
值会导致较低的验证损失,尽管它可能需要更长的时间来训练。低验证损失不一定产生人类解释的更连贯的主题。其他超参数对训练和验证损失的影响可能因数据集而异。要了解哪些值是兼容的,请参阅 NTM超参数。
参数名称 | 参数类型 | 建议的范围 |
---|---|---|
encoder_layers_activation |
CategoricalParameterRanges |
['sigmoid'、'tanh'、'relu'] |
learning_rate |
ContinuousParameterRange |
MinValue: 1e-4, MaxValue: 0.1 |
mini_batch_size |
IntegerParameterRanges |
MinValue: 16, MaxValue :2048 |
optimizer |
CategoricalParameterRanges |
['sgd'、'adam'、'adadelta'] |
rescale_gradient |
ContinuousParameterRange |
MinValue: 0.1, MaxValue: 1.0 |
weight_decay |
ContinuousParameterRange |
MinValue: 0.0, MaxValue: 1.0 |