Automatische Modellevaluierung - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Automatische Modellevaluierung

Sie können eine automatische Modellevaluierung in Studio oder mithilfe der fmeval Bibliothek in Ihrem eigenen Code erstellen. Studio verwendet einen Assistenten, um den Modellevaluierungsjob zu erstellen. Die fmeval Bibliothek bietet Tools, mit denen Sie Ihren Arbeitsablauf weiter anpassen können.

Beide Arten von automatischen Modellevaluierungsjobs unterstützen die Verwendung öffentlich verfügbarer JumpStart Modelle und JumpStart Modelle, die Sie zuvor auf einem Endpunkt bereitgestellt haben. Wenn Sie einen verwenden JumpStart , der noch nicht bereitgestellt wurde, SageMaker übernimmt er die Erstellung der erforderlichen Ressource und das Herunterfahren der Ressourcen, sobald der Modellevaluierungsauftrag abgeschlossen ist.

Um Text zu verwenden, der auf einem anderen AWS Dienst oder einem Modell basiertLLMs, das außerhalb von gehostet wird AWS, müssen Sie die fmeval Bibliothek verwenden.

Wenn Ihre Jobs abgeschlossen sind, werden die Ergebnisse in dem Amazon S3 S3-Bucket gespeichert, der bei der Erstellung des Jobs angegeben wurde. Informationen zur Interpretation Ihrer Ergebnisse finden Sie unterMachen Sie sich mit den Ergebnissen Ihrer Model-Evaluierung vertraut.