本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon Titan 文本模型自定义超参数
Amazon Titan Text Premier 模型支持以下用于模型自定义的超参数:
超参数(控制台) | 超参数 (API) | 定义 | 类型 | 最低 | 最高 | 默认 |
---|---|---|---|---|---|---|
周期 | epochCount | 整个训练数据集的迭代次数 | 整数 | 1 | 5 | 2 |
批次大小(微型) | batchSize | 更新模型参数之前处理的样本数 | 整数 | 1 | 1 | 1 |
学习率 | learningRate | 每个批次之后模型参数的更新速率 | float | 1.00E-07 | 1.00E-05 | 1.00E-06 |
学习率预热步骤 | 学习RateWarmup步骤 | 学习率逐渐提高到指定速率的迭代次数 | 整数 | 0 | 20 | 5 |
Amazon Titan Text 模型(例如 Lite 和 Express)支持以下用于模型自定义的超参数:
超参数(控制台) | 超参数 (API) | 定义 | 类型 | 最低 | 最高 | 默认 |
---|---|---|---|---|---|---|
周期 | epochCount | 整个训练数据集的迭代次数 | 整数 | 1 | 10 | 5 |
批次大小(微型) | batchSize | 更新模型参数之前处理的样本数 | 整数 | 1 | 64 | 1 |
学习率 | learningRate | 每个批次之后模型参数的更新速率 | float | 0.0 | 1 | 1.00E-5 |
学习率预热步骤 | 学习RateWarmup步骤 | 学习率逐渐提高到指定速率的迭代次数 | 整数 | 0 | 250 | 5 |