Wählen Sie anhand von Amazon Bedrock-Bewertungen das Modell mit der besten Leistung

Amazon Bedrock unterstützt Aufträge zur Modellbewertung. Die Ergebnisse einer Modellevaluierung ermöglichen es Ihnen, die Modellergebnisse zu vergleichen und dann das Modell auszuwählen, das für Ihre nachgelagerten generativen KI-Anwendungen am besten geeignet ist.

Modellevaluierungsjobs unterstützen gängige Anwendungsfälle für umfangreiche Sprachmodelle (LLMs) wie Textgenerierung, Textklassifizierung, Beantwortung von Fragen und Textzusammenfassung.

Um die Leistung eines Modells für automatische Modellevaluierungsaufträge zu bewerten, können Sie entweder integrierte Prompt-Datensätze oder Ihre eigenen Prompt-Datensätze verwenden. Für Modellevaluierungsaufträge, bei denen menschliche Mitarbeiter eingesetzt werden, müssen Sie Ihren eigenen Datensatz verwenden.

Sie können wählen, ob Sie entweder einen automatischen Auftrag zur Modellbewertung oder einen Auftrag zur Modellbewertung mit menschlichen Mitarbeitern erstellen möchten.

Überblick: Automatische Aufträge zur Modellbewertung

Mit automatischen Aufträgen zur Modellbewertung können Sie schnell bewerten, ob ein Modell in der Lage ist, eine Aufgabe auszuführen. Sie können entweder Ihren eigenen benutzerdefinierten Prompt-Datensatz bereitstellen, den Sie auf einen bestimmten Anwendungsfall zugeschnitten haben, oder Sie können einen verfügbaren integrierten Datensatz verwenden.

Überblick: Aufträge zur Modellbewertung unter Einsatz menschlicher Mitarbeiter

Aufträge zur Modellbewertung, bei denen menschliche Mitarbeiter eingesetzt werden, ermöglichen es Ihnen, menschliche Eingaben in den Modellbewertungsprozess einzubringen. Dabei kann es sich um Mitarbeiter Ihres Unternehmens oder eine Gruppe von Experten aus Ihrer Branche handeln.

In diesem Abschnitt erfahren Sie, wie Sie Modellevaluierungsjobs erstellen und verwalten und welche Arten von Leistungskennzahlen Sie verwenden können. In diesem Abschnitt werden auch die verfügbaren integrierten Datensätze beschrieben und es wird beschrieben, wie Sie Ihren eigenen Datensatz angeben können.