Voraussetzungen für Amazon Bedrock Model Distillation

Wählen Sie ein Lehrermodell

Wählen Sie ein Lehrermodell, das deutlich größer und leistungsfähiger ist als das Schülermodell und dessen Genauigkeit Sie für Ihren Anwendungsfall erreichen möchten. Um die Destillation effektiver zu gestalten, wählen Sie ein Modell aus, das bereits für eine Aufgabe trainiert wurde, die Ihrem Anwendungsfall ähnelt. Informationen zu den von Amazon Bedrock unterstützten Lehrermodellen finden Sie unterUnterstützte Modelle und Regionen für Amazon Bedrock Model Distillation.

Wählen Sie ein Schülermodell

Wählen Sie ein Studentenmodell, das deutlich kleiner ist. Informationen zu den Studentenmodellen, die Amazon Bedrock unterstützt, finden Sie unterUnterstützte Modelle und Regionen für Amazon Bedrock Model Distillation.

Bereiten Sie Ihren Eingabedatensatz vor

Geben Sie die Eingabedaten als Eingabeaufforderungen ein. Amazon Bedrock verwendet die Eingabedaten, um Antworten aus dem Lehrermodell zu generieren, und verwendet die generierten Antworten zur Feinabstimmung des Schülermodells. Weitere Informationen zu den Eingaben, die Amazon Bedrock verwendet, und zur Auswahl einer Option, die für Ihren Anwendungsfall am besten geeignet ist, finden So funktioniert Amazon Bedrock Model Distillation Sie unter.

Wählen Sie die Option, die für Ihren Anwendungsfall am besten geeignet ist, um Anweisungen zur Vorbereitung Ihres Eingabedatensatzes zu erhalten:

Option 1: Geben Sie Ihre eigenen Eingabeaufforderungen ein

Sammeln Sie Ihre Eingabeaufforderungen und speichern Sie sie im JSON Line (JSONL) -Format. Jeder Datensatz im JSONL muss die folgende Struktur verwenden.

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],    
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "why is the sky blue"
                }
            ]
        },
        {
            "role": "assistant"
            "content": [
               {
                   "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
               }
            ]
        }
    ]
}

Die Struktur muss das erforderliche Feld enthaltenschemaVersion, das den Wert enthalten mussbedrock-conversion-2024. Sie können optional eine Systemaufforderung hinzufügen, die die dem Modell zugewiesene Rolle angibt. Im Nachrichtenfeld ist die Benutzerrolle erforderlich, die die für das Modell bereitgestellte Eingabeaufforderung enthält, während die Assistentenrolle, die die gewünschte Antwort enthält, optional ist.

Für die Vorschauversion Anthropic and Meta Modelle unterstützen nur Gesprächsaufforderungen in einer einzigen Runde, d. h. Sie können nur eine Benutzeraufforderung verwenden. Das Tool Amazon Nova Modelle unterstützen Multi-Turn-Konversationen, sodass Sie den Austausch zwischen mehreren Benutzern und Assistenten innerhalb eines Datensatzes ermöglichen können.

Nachdem Sie alle Eingabeaufforderungen hinzugefügt haben, laden Sie die Datei in einen Amazon Simple Storage Service (Amazon S3) -Bucket hoch.

Option 2: Verwenden Sie Aufruf-Logs

Um Aufrufprotokolle für die Modelldestillation zu verwenden, richten Sie die Modellaufruf-Protokollierung ein, verwenden Sie einen der Modellaufrufvorgänge und stellen Sie sicher, dass Sie einen Amazon S3 S3-Bucket als Ziel für die Protokolle eingerichtet haben. Bevor Sie mit der Modelldestillation beginnen können, müssen Sie Amazon Bedrock Berechtigungen für den Zugriff auf die Protokolle gewähren. Weitere Informationen zum Einrichten der Aufrufprotokolle finden Sie unter Überwachen des Modellaufrufs mithilfe von Amazon CloudWatch Logs.

Mit dieser Option können Sie angeben, ob Amazon Bedrock nur die Prompts oder Prompt-Response-Paare aus dem Aufrufprotokoll verwenden soll. Wenn Sie möchten, dass Amazon Bedrock nur Aufforderungen verwendet, fügt Amazon Bedrock möglicherweise eigene Datensynthesetechniken hinzu, um anhand des Lehrermodells vielfältige und qualitativ hochwertigere Antworten zu generieren. Wenn Sie möchten, dass Amazon Bedrock Prompt-Response-Paare verwendet, generiert Amazon Bedrock keine Antworten aus dem Lehrermodell neu. Amazon Bedrock verwendet die Antworten aus dem Aufrufprotokoll direkt zur Feinabstimmung des Studentenmodells.

Sie können optional mithilfe einer der Modellaufrufoperationen Anforderungsmetadaten zu den Prompt-Antwort-Paaren im Aufrufprotokoll hinzufügen und diese dann später zum Filtern der Protokolle verwenden. Amazon Bedrock kann die gefilterten Protokolle zur Feinabstimmung des Studentenmodells verwenden.

Um die Protokolle anhand mehrerer Anforderungsmetadaten zu filtern, verwenden Sie einen einzigen booleschen OperatorAND, OR oder. NOT Operationen können nicht kombiniert werden. Verwenden Sie zum Filtern von Metadaten für einzelne Anfragen den booleschen Operator. NOT