Amazon 基岩模型蒸馏的先决条件

选择教师模式

选择比学生模型大得多、功能更强的教师模型，并且您希望在用例中达到其准确性。为了提高蒸馏工作的效率，请选择一个已经接受过与您的用例相似的任务训练的模型。有关 Amazon Bedrock 支持的教师模式的信息，请参阅Amazon 基岩模型蒸馏支持的型号和区域。

选择学生模型

选择尺寸要小得多的学生模型。有关 Amazon Bedrock 支持的学生模型的信息，请参阅Amazon 基岩模型蒸馏支持的型号和区域。

准备输入数据集

按照提示提供输入数据。Amazon Bedrock 使用输入数据生成来自教师模型的响应，并使用生成的响应来微调学生模型。有关 Amazon Bedrock 使用的输入以及如何选择最适合您的用例的选项的更多信息，请参阅Amazon 基岩模型蒸馏的工作原理。

选择最适合您的用例的选项，以获取有关准备输入数据集的说明：

选项 1：提供您自己的提示

收集您的提示并以 JSON Line (JSONL) 格式存储它们。中的每条记录都JSONL必须使用以下结构。

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],    
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "why is the sky blue"
                }
            ]
        },
        {
            "role": "assistant"
            "content": [
               {
                   "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
               }
            ]
        }
    ]
}

该结构必须包含必须具有值schemaVersion的必填字段bedrock-conversion-2024。您可以选择添加系统提示，指示分配给模型的角色。在消息字段中，用户角色是必填的，其中包含提供给模型的输入提示，而包含所需响应的助手角色是可选的。

对于预览版 Anthropic 以及 Meta 模型仅支持单回合对话提示，这意味着您只能有一个用户提示。这些区域有：Amazon Nova 模型支持多回合对话，允许您在一条记录中提供多个用户和助手交流。

添加完所有提示后，将文件上传到亚马逊简单存储服务 (Amazon S3) 存储桶。

选项 2：使用调用日志

要使用调用日志进行模型提炼，请将模型调用日志设置为开启，使用其中一个模型调用操作，并确保已将 Amazon S3 存储桶设置为日志的目标。在开始模型提炼任务之前，您必须提供 Amazon Bedrock 访问日志的权限。有关设置调用日志的更多信息，请参阅使用 Ama CloudWatch zon Logs 监控模型调用。

使用此选项，您可以指定是希望 Amazon Bedrock 仅使用提示，还是使用调用日志中的提示-响应对。如果你想让 Amazon Bedrock 只使用提示，那么 Amazon Bedrock 可能会添加专有的数据合成技术，从教师模型中生成多样化和更高质量的回复。如果你希望 Amazon Bedrock 使用即时响应对，那么 Amazon Bedrock 不会从教师模型中重新生成响应。Amazon Bedrock 将直接使用调用日志中的响应来微调学生模型。

您可以选择使用模型调用操作之一将请求元数据添加到调用日志中的提示-响应对中，然后再使用它来筛选日志。Amazon Bedrock 可以使用筛选后的日志来微调学生模型。

要使用多个请求元数据筛选日志，请使用单一运算布尔运算符 AND OR 或NOT。您不能合并操作。要筛选单个请求的元数据，请使用布尔运算符NOT。