Die Leistung von Amazon-Bedrock-Ressourcen bewerten

Mit Aufgaben zur programmatischen Modellevaluierung können Sie schnell beurteilen, ob ein Modell in der Lage ist, eine Aufgabe auszuführen. Sie können entweder Ihren eigenen benutzerdefinierten Prompt-Datensatz bereitstellen, den Sie auf einen bestimmten Anwendungsfall zugeschnitten haben, oder Sie können einen verfügbaren integrierten Datensatz verwenden.

Aufträge zur Modellbewertung, bei denen menschliche Mitarbeiter eingesetzt werden, ermöglichen es Ihnen, menschliche Eingaben in den Modellbewertungsprozess einzubringen. Dies können Mitarbeiter Ihres Unternehmens oder eine Gruppe von Fachexperten aus Ihrer Branche sein.

Modellevaluierungsaufträge, die ein Judge-Modell verwenden, ermöglichen es Ihnen, die Antworten eines Modells mithilfe eines zweiten LLM schnell zu bewerten. Das zweite LLM bewertet jede Antwort und liefert eine Erklärung dazu.

LLM-based Evaluationen berechnen Leistungskennzahlen für die Wissensdatenbank. Die Metriken zeigen, ob eine RAG-Quelle oder Amazon Bedrock Knowledge Base in der Lage ist, hochrelevante Informationen abzurufen und sinnvolle, passende Antworten zu generieren. Sie stellen einen Datensatz bereit, der die Prompts oder Benutzeranfragen enthält, anhand derer bewertet werden kann, wie eine Wissensdatenbank Informationen abruft und Antworten auf diese Anfragen generiert. Der Datensatz muss auch Referenzdaten (Ground Truth) oder die erwarteten abgerufenen Texte und Antworten auf die Anfragen enthalten, damit bei der Bewertung überprüft werden kann, ob Ihre Wissensdatenbank den Erwartungen entspricht.