模型自定义准则 - Amazon Bedrock
Amazon Titan 首发短信

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

模型自定义准则

用于自定义模型的理想参数取决于数据集以及模型所要执行的任务。您应该对值进行试验，以确定哪些参数最适合您的具体情况。为了获取帮助，请运行模型评估作业来评估模型。有关更多信息，请参阅 使用 Amazon Bedrock 评估选择性能最佳的模型。

本主题提供指南和建议值，作为定制 Amazon 的基准 Titan 文本 Premier 模型。对于其他模型，请查看提供商的文档。

使用提交微调作业时生成的输出文件中的训练和验证指标来帮助您调整参数。在您写入输出的 Amazon S3 存储桶中找到这些文件，或者使用GetCustomModel操作。

Amazon Titan 首发短信

以下指导方针适用于 Titan 文本 Premier text-to-text 模型模型。有关可以设置的超参数的信息，请参阅 Amazon Titan 文本模型自定义超参数。

对其他任务类型的影响

通常，训练数据集越大，在特定任务上的性能就越好。不过，针对特定任务的训练可能会使模型在不同任务中的性能变差，尤其是在使用大量示例的情况下。例如，如果汇总任务的训练数据集包含 100,000 个样本，则模型在分类任务上的性能可能会较差。

模型大小

通常，对于给定的有限训练数据，模型越大，执行任务的性能就越好。

如果您将模型用于分类任务，则通过少样本微调（少于 100 个样本）实现的增益可能相对较小，尤其是在类数相对较少（少于 100 个）的情况下。

周期

我们建议使用以下指标来确定要设置的周期数：

  1. 验证输出准确性 – 将周期数设置为可实现高准确性的值。

  2. 训练和验证损失 – 确定训练和验证损失将在多少个周期后开始稳定。这与模型收敛时间相对应。在 step_wise_training_metrics.csv 和 validation_metrics.csv 文件中查找训练损失值。

批次大小

更改批次大小时，我们建议您使用以下公式更改学习率：

newLearningRate = oldLearningRate x newBatchSize / oldBatchSize

Titan Text Premier 型号目前仅支持 1 的小批量大小，以便客户进行微调。

学习率

为了从微调功能中获得最佳效果，我们建议使用介于 1.00E-07 和 1.00E-05 之间的学习速率。一个不错的起点是建议的默认值 1.00E-06。较高的学习率可能有助于训练更快地融合，但是，它可能会对核心模型能力产生不利影响。

使用较小的子样本验证您的训练数据-为了验证训练数据的质量，我们建议先尝试使用较小的数据集（大约 100 个样本）并监控验证指标，然后再使用较大的训练数据集提交训练作业。

学习预热步骤

我们建议使用默认值 5。