Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Bewerten Sie die Leistung optimierter Modelle
Nachdem Sie mit einem Optimierungsjob ein optimiertes Modell erstellt haben, können Sie eine Bewertung der Modellleistung durchführen. Diese Bewertung liefert Metriken für Latenz, Durchsatz und Preis. Ermitteln Sie anhand dieser Kennzahlen, ob das optimierte Modell die Anforderungen Ihres Anwendungsfalls erfüllt oder ob weitere Optimierungen erforderlich sind.
Sie können Leistungsbewertungen nur mit Studio durchführen. Diese Funktion wird nicht über Amazon SageMaker API oder Python bereitgestelltSDK.
Bevor Sie beginnen
Bevor Sie eine Leistungsbewertung erstellen können, müssen Sie zunächst ein Modell optimieren, indem Sie einen Job zur Inferenzoptimierung erstellen. In Studio können Sie nur die Modelle auswerten, die Sie mit diesen Jobs erstellen.
Erstellen Sie die Leistungsbewertung
Führen Sie die folgenden Schritte in Studio aus, um eine Leistungsbewertung für ein optimiertes Modell zu erstellen.
-
Wählen Sie im Studio-Navigationsmenü unter Jobs die Option Inferenzoptimierung aus.
-
Wählen Sie den Namen des Jobs aus, mit dem das optimierte Modell erstellt wurde, das Sie auswerten möchten.
-
Wählen Sie auf der Seite mit den Jobdetails die Option Leistung bewerten aus.
-
Auf der Seite Leistung bewerten müssen Sie bei einigen JumpStart Modellen eine Endbenutzer-Lizenzvereinbarung (EULA) unterzeichnen, bevor Sie fortfahren können. Falls Sie dazu aufgefordert werden, lesen Sie die Lizenzbedingungen im Abschnitt Lizenzvereinbarung. Wenn die Bedingungen für Ihren Anwendungsfall akzeptabel sind, aktivieren Sie das Kontrollkästchen Ich akzeptiere die EULA und lesen Sie die Allgemeinen Geschäftsbedingungen.
-
Akzeptieren Sie für Wählen Sie ein Modell für den Tokenizer die Standardeinstellung aus, oder wählen Sie ein bestimmtes Modell aus, das als Tokenizer für Ihre Bewertung verwendet werden soll.
-
Wählen Sie für Eingabe-Datasets aus, ob Sie:
-
Verwenden Sie die Standard-Beispieldatensätze von. SageMaker
-
Stellen Sie ein S3 bereitURI, das auf Ihre eigenen Beispieldatensätze verweist.
-
-
Geben Sie URIfür S3 für Leistungsergebnisse ein, URI das auf den Speicherort in Amazon S3 verweist, an dem Sie die Bewertungsergebnisse speichern möchten.
-
Wählen Sie Evaluieren.
Studio zeigt die Seite mit Leistungsbeurteilungen an, auf der Ihr Bewertungsjob in der Tabelle aufgeführt ist. In der Spalte Status wird der Status Ihrer Bewertung angezeigt.
-
Wenn der Status Abgeschlossen lautet, wählen Sie den Namen des Jobs aus, um die Bewertungsergebnisse zu sehen.
Auf der Seite mit den Bewertungsdetails werden Tabellen mit Leistungskennzahlen für Latenz, Durchsatz und Preis angezeigt. Weitere Informationen zu den einzelnen Metriken finden Sie unterMetrik-Referenz für Leistungsbewertungen von Inferenzen.
