本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
在 Amazon Bedrock 中进行模型蒸馏
模型蒸馏是将知识从更大、更智能的模型（称为教师）转移到更小、更快、更具成本效益的模型（称为学生）的过程。在此过程中，学生模型在特定用例中的表现与教师一样出色。Amazon Bedrock Model Distillation 使用最新的数据合成技术从教师模型中生成多样化、高质量的响应（称为合成数据），并对学生模型进行微调。
要使用 Amazon Bedrock Model Destillation，您需要选择一个要在用例中达到准确性的教师模型，然后选择一个要微调的学生模型。然后，提供特定于用例的提示作为输入数据。Amazon Bedrock 根据给定提示从教师模型生成响应，然后使用这些响应来微调学生模型。您可以选择以提示-响应对的形式提供带标签的输入数据。Amazon Bedrock可能会使用这些配对作为典范，同时从教师模型中生成回应。或者，如果您已经有教师模型生成的响应，并且已将其存储在调用日志中，则可以使用这些现有的教师响应来微调学生模型。为此，您必须向 Amazon Bedrock 提供对您的调用日志的访问权限。Amazon Bedrock 中的调用日志是模型调用的详细记录。有关更多信息，请参阅使用 CloudWatch 日志监控模型调用。
只有您可以访问最终的蒸馏模型。Amazon Bedrock 不会使用您的数据来训练任何其他教师或学生模型以供公众使用。
Amazon 基岩模型蒸馏的工作原理
Amazon Bedrock 模型蒸馏是一个单一的工作流程，可自动创建蒸馏模型的过程。在此工作流程中，Amazon Bedrock 从教师模型生成响应，添加数据合成技术以改进响应生成，并使用生成的响应微调学生模型。增强的数据集被拆分为单独的数据集，用于训练和验证。Amazon Bedrock 仅使用训练数据集中的数据来微调学生模型。
确定教师和学生模型后，您可以选择希望 Amazon Bedrock 如何为您的用例创建提炼模型。Amazon Bedrock 既可以使用您提供的提示生成教师回复，也可以通过调用日志使用来自生产数据的响应。Amazon Bedrock 模型蒸馏使用这些响应来微调学生模型。
使用您提供的提示创建提炼模型
Amazon Bedrock 使用您提供的输入提示生成来自教师模型的响应。然后，Amazon Bedrock 会使用这些回复来微调你确定的学生模型。根据您的用例，Amazon Bedrock 可能会添加专有的数据合成技术来生成多样化和更高质量的响应。例如，Amazon Bedrock 可能会生成类似的提示，以便从教师模型中生成更多样化的响应。或者，如果您选择提供少量带标签的输入数据作为提示响应对，那么 Amazon Bedrock 可能会使用这些数据对作为典范来指导教师生成类似的高质量回复。
注意
如果 Amazon Bedrock Model Distillation 使用其专有的数据合成技术生成更高质量的教师回复，那么对教师模型的推理调用 AWS 账户 将产生额外费用。这些费用将按教师模型的按需推理费率计费。数据合成技术可能会将微调数据集的大小增加到最多 15k 个即时响应对。有关亚马逊 Bedrock 费用的更多信息，请参阅亚马逊 Bedrock
使用生产数据创建提炼模型
如果您已经有教师模型生成的响应并将其存储在调用日志中，则可以使用这些现有的教师响应来微调学生模型。为此，您需要向 Amazon Bedrock 提供对您的调用日志的访问权限。Amazon Bedrock 中的调用日志是模型调用的详细记录。有关更多信息，请参阅使用 CloudWatch 日志监控模型调用。
如果您选择此选项，则可以继续使用 Amazon Bedrocks 推理API操作，例如InvokeModel或 Conv erseAPI，并收集 Amazon Bedrock 中使用的所有调用的调用日志、模型输入数据（提示）和模型输出数据（响应）。使用InvokeModel或ConverseAPI运算从模型生成响应时，可以选择requestMetadata向响应中添加响应。这可以帮助您筛选特定用例的调用日志，然后使用过滤后的响应来微调您的学生模型。当您选择使用调用日志来微调学生模型时，可以让 Amazon Bedrock 仅使用提示，也可以使用提示-响应对。
选择带有调用日志的提示
如果您选择让 Amazon Bedrock 仅使用调用日志中的提示，则 Amazon Bedrock 会使用这些提示生成来自教师模型的响应。在本例中，Amazon Bedrock 会使用回复来微调您确定的学生模型。根据您的用例，Amazon Bedrock Model Destillation 可能会添加专有的数据合成技术来生成多样化和更高质量的响应。
注意
如果 Amazon Bedrock Model Distillation 使用其专有的数据合成技术生成更高质量的教师回复，那么对教师模型的推理调用 AWS 账户 将产生额外费用。这些费用将按教师模型的按需推理费率计费。数据合成技术可能会将微调数据集的大小增加到最多 15k 个即时响应对。有关亚马逊 Bedrock 费用的更多信息，请参阅亚马逊 Bedrock
选择带有调用日志的提示-响应对
如果您选择让 Amazon Bedrock 使用调用日志中的即时响应对，那么 Amazon Bedrock 将不会重新生成来自教师模型的响应，也不会使用调用日志中的响应来微调学生模型。为了让 Amazon Bedrock 读取调用日志中的响应，模型蒸馏作业中指定的教师模型必须与调用日志中使用的模型相匹配。如果您已将请求元数据添加到调用日志中的响应中，则要微调学生模型，您可以指定请求元数据筛选器，以便 Amazon Bedrock 仅读取对您的用例有效的特定日志。
