Amazon Bedrock Model Distillation 的先決條件

選擇教師模型

選擇比學生模型大且能力更高的教師模型，以及您希望在使用案例中達到的準確度。若要讓蒸餾任務更有效率，請選取已針對類似使用案例的任務進行訓練的模型。如需 Amazon Bedrock 支援的教師模型相關資訊，請參閱 Amazon Bedrock Model Distillation 支援的模型和區域。

選擇學生模型

選擇大小明顯較小的學生模型。如需 Amazon Bedrock 支援的學生模型相關資訊，請參閱 Amazon Bedrock Model Distillation 支援的模型和區域。

準備您的輸入資料集

提供輸入資料做為提示。Amazon Bedrock 使用輸入資料從教師模型產生回應，並使用產生的回應來微調學生模型。如需 Amazon Bedrock 使用之輸入的詳細資訊，以及選擇最適合使用案例的選項，請參閱 Amazon Bedrock Model Distillation 的運作方式。

選擇最適合使用案例的選項，以取得準備輸入資料集的指示：

選項 1：提供您自己的提示

收集您的提示，並以JSON行 (JSONL) 格式存放。中的每個記錄JSONL都必須使用以下結構。

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],    
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "why is the sky blue"
                }
            ]
        },
        {
            "role": "assistant"
            "content": [
               {
                   "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
               }
            ]
        }
    ]
}

結構必須包含必須具有 值 schemaVersion的必要欄位bedrock-conversion-2024。您可以選擇性地包含系統提示，指出指派給模型的角色。在訊息欄位中，需要使用者角色，其中包含提供給模型的輸入提示，而包含所需回應的助理角色則為選用。

針對預覽版本 Anthropic 以及 Meta 模型僅支援單向對話提示，這表示您只能有一個使用者提示。所以此 Amazon Nova 模型支援多迴轉對話，可讓您在一個記錄中提供多個使用者和助理交換。

新增所有提示後，將檔案上傳至 Amazon Simple Storage Service (Amazon S3) 儲存貯體。

選項 2：使用叫用日誌

若要使用 叫用日誌進行模型蒸餾，請在 上設定模型叫用日誌、使用其中一個模型叫用操作，並確定您已將 Amazon S3 儲存貯體設定為日誌的目的地。您必須先提供 Amazon Bedrock 存取日誌的許可，才能開始模型蒸餾任務。如需設定調用日誌的詳細資訊，請參閱使用 Amazon CloudWatch Logs 監控模型調用。

使用此選項，您可以指定是否希望 Amazon Bedrock 僅使用提示，還是使用叫用日誌中的提示回應對。如果您希望 Amazon Bedrock 僅使用提示，Amazon Bedrock 可能會新增專有資料合成技術，以從教師模型產生多樣化和更高品質的回應。如果您希望 Amazon Bedrock 使用提示回應對，Amazon Bedrock 不會從教師模型重新產生回應。Amazon Bedrock 將直接使用調用日誌中的回應來微調學生模型。

您可以選擇使用其中一個模型調用操作，將請求中繼資料新增至調用日誌中的提示回應對，然後用它來篩選日誌。Amazon Bedrock 可以使用篩選過的日誌來微調學生模型。

若要使用多個請求中繼資料篩選日誌，請使用單一操作布林運算子 AND、OR 或 NOT。您無法合併操作。對於單一請求中繼資料篩選，請使用布林運算子 NOT。