Machen Sie sich mit den Optionen für die Bewertung umfangreicher Sprachmodelle mit SageMaker Clarify vertraut - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Machen Sie sich mit den Optionen für die Bewertung umfangreicher Sprachmodelle mit SageMaker Clarify vertraut

Wichtig

Um SageMaker Clarify Foundation Model Evaluations verwenden zu können, müssen Sie auf das neue Studio-Erlebnis aktualisieren. Seit dem 30. November 2023 heißt das vorherige Amazon SageMaker Studio-Erlebnis jetzt Amazon SageMaker Studio Classic. Die Foundation-Evaluierungsfunktion kann nur in der aktualisierten Version verwendet werden. Informationen zum Aktualisieren von Studio finden Sie unterMigration von Amazon SageMaker Studio Classic. Informationen zur Verwendung der Studio Classic-Anwendung finden Sie unterAmazon SageMaker Studio Classic.

Mit Amazon SageMaker Clarify können Sie umfangreiche Sprachmodelle (LLMs) evaluieren, indem Sie Modellevaluierungsjobs erstellen. Ein Modellevaluierungsjob ermöglicht es Ihnen, die Kennzahlen zur Modellqualität und -verantwortung für textbasierte Basismodelle von JumpStart zu bewerten und zu vergleichen. Jobs zur Modellevaluierung unterstützen auch die Verwendung von JumpStart Modellen, die bereits auf einem Endpunkt bereitgestellt wurden.

Sie können einen Modellevaluierungsjob mit drei verschiedenen Ansätzen erstellen.

  • Automatisierte Modellevaluierungsjobs in Studio erstellen — Mit automatischen Modellevaluierungsjobs können Sie schnell beurteilen, ob ein Modell in der Lage ist, eine Aufgabe auszuführen. Sie können entweder Ihren eigenen benutzerdefinierten Prompt-Datensatz bereitstellen, den Sie auf einen bestimmten Anwendungsfall zugeschnitten haben, oder Sie können einen verfügbaren integrierten Datensatz verwenden.

  • Erstellen Sie in Studio Modellevaluierungsjobs, bei denen menschliche Mitarbeiter verwendet werden — Modellevaluierungsjobs, bei denen menschliche Mitarbeiter eingesetzt werden, ermöglichen es Ihnen, menschliche Beiträge in den Modellevaluierungsprozess einzubringen. Dabei kann es sich um Mitarbeiter Ihres Unternehmens oder eine Gruppe von Experten aus Ihrer Branche handeln.

  • Erstellen Sie mithilfe der fmeval Bibliothek einen automatisierten Modellevaluierungsjob — Wenn Sie einen Job mit dem fmeval erstellen, haben Sie die genaueste Kontrolle über Ihre Modellevaluierungsjobs. Es unterstützt auch die Verwendung LLMs außerhalb von AWS oder nicht auf Modellen anderer Dienste JumpStart basierender Modelle.

Modellevaluierungsjobs unterstützen gängige Anwendungsfälle LLMs wie Textgenerierung, Textklassifizierung, Fragen und Antworten sowie Textzusammenfassung.

  • Generierung mit offenem Ende — Die Erzeugung natürlicher menschlicher Reaktionen auf Text, der keine vordefinierte Struktur hat.

  • Textzusammenfassung — Generierung einer präzisen und komprimierten Zusammenfassung unter Beibehaltung der Bedeutung und der wichtigsten Informationen, die in einem größeren Text enthalten sind.

  • Beantwortung von Fragen — Generierung einer relevanten und genauen Antwort auf eine Aufforderung.

  • Klassifizierung — Zuordnung einer Kategorie, z. B. einer Bezeichnung oder Bewertung, zu einem Text auf der Grundlage seines Inhalts.

In den folgenden Themen werden die verfügbaren Aufgaben zur Modellbewertung und die Arten von Metriken beschrieben, die Sie verwenden können. Sie beschreiben auch die verfügbaren integrierten Datensätze und wie Sie Ihren eigenen Datensatz festlegen können.

Themen