Einen automatischen Modellevaluierungsjob erstellen - Amazon Bedrock
VoraussetzungenTutorial: Erstellen Sie einen automatischen Modellevaluierungsjob

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Einen automatischen Modellevaluierungsjob erstellen

Automatische Modellevaluierungen ermöglichen es Ihnen, die Antworten aus einem einzigen Modell anhand empfohlener Metriken zu bewerten. Sie können auch integrierte Prompt-Datensätze oder Ihren eigenen benutzerdefinierten Prompt-Datensatz verwenden. Pro AWS-Region können Sie maximal 10 automatische Aufträge zur Modellbewertung in Bearbeitung haben.

Wenn Sie einen automatischen Auftrag zur Modellbewertung einrichten, werden die verfügbaren Metriken und die integrierten Datensätze, die für den ausgewählten Aufgabentyp am besten geeignet sind, dem Auftrag automatisch hinzugefügt. Sie können jede der vorausgewählten Metriken oder Datensätze hinzufügen oder entfernen. Sie können auch Ihren eigenen Datensatz mit benutzerdefinierten Eingabeaufforderungen angeben.

Voraussetzungen

Um Ihren ersten Modellevaluierungsjob mit der Amazon Bedrock-Konsole zu erstellen, müssen Sie wie folgt vorgehen.

Anmerkung

Wenn Sie Model-Evaluierungsjobs mit der Amazon Bedrock-Konsole erstellen, müssen Sie die richtigen CORS Berechtigungen für den von Ihnen angegebenen Amazon S3 S3-Bucket einrichten.

  1. Sie müssen Zugriff auf das Modell in Amazon Bedrock haben.

  2. Sie müssen über eine Amazon-Bedrock-Servicerolle verfügen. Wenn Sie noch keine Servicerolle erstellt haben, können Sie diese in der Amazon Bedrock-Konsole erstellen, während Sie Ihren Model-Evaluierungsjob einrichten. Wenn Sie eine benutzerdefinierte Richtlinie erstellen möchten, muss die beigefügte Richtlinie Zugriff auf die folgenden Ressourcen gewähren: Alle S3-Buckets, die in der Modellevaluierungsaufgabe verwendet wurden, und die ARN des im Job angegebenen Modells. Für die Servicerolle muss Amazon Bedrock außerdem in der Vertrauensrichtlinie der Rolle des Service-Prinzipal definiert sein. Weitere Informationen hierzu finden Sie unter Erforderliche Berechtigungen.

  3. Der Benutzer, die Gruppe oder die Rolle, die auf die Amazon-Bedrock-Konsole zugreift, muss über die entsprechenden Berechtigungen für den Zugriff auf die erforderlichen Amazon-S3-Buckets verfügen. Weitere Informationen hierzu finden Sie unter Erforderliche Berechtigungen.

  4. Dem Amazon S3 S3-Ausgabe-Bucket und allen Datensatz-Buckets mit benutzerdefinierten Eingabeaufforderungen müssen die erforderlichen CORS Berechtigungen hinzugefügt werden. Weitere Informationen zu den erforderlichen CORS Berechtigungen finden Sie unterErforderliche Cross-Origin-Berechtigung zur gemeinsamen Nutzung von Ressourcen (CORS) für S3-Buckets.

Tutorial: Erstellen Sie einen automatischen Modellevaluierungsjob

Das folgende Verfahren ist ein Tutorial. Das Tutorial behandelt die Erstellung eines automatischen Modellevaluierungsjobs, der das Amazon Titan Text G1 — Lite-Modell verwendet, und das Erstellen einer IAM Servicerolle.

Anzeigen von Ergebnissen der Aufträge zur Modellbewertung mit der Amazon-Bedrock-Konsole

Wenn ein Modellevaluierungsauftrag abgeschlossen ist, werden die Ergebnisse in dem von Ihnen angegebenen Amazon S3-Bucket gespeichert. Wenn Sie den Speicherort der Ergebnisse in irgendeiner Weise ändern, ist der Bericht über die Modellbewertung nicht mehr in der Konsole sichtbar.

(Tutorial) So erstellen Sie eine automatische Modellevaluierung mit dem Amazon Titan Text G1 — Lite

  1. Öffnen Sie die Amazon Bedrock-Konsole: https://console.aws.amazon.com/bedrock/.

  2. Klicken Sie im Navigationsbereich auf Modelle.

  3. Wählen Sie auf der Karte Eine Bewertung erstellen unter Automatisch die Option Automatische Bewertung erstellen.

  4. Geben Sie auf der Seite Automatische Bewertung erstellen die folgenden Informationen ein:

    1. Auswertungsname: Geben Sie dem Auftrag zur Modellbewertung einen beschreibenden Namen. Dieser Name wird in der Jobtabelle für die Modellbewertung angezeigt. Der Name muss AWS-Konto in Ihrem System eindeutig sein. AWS-Region

    2. Beschreibung (optional): Geben Sie eine optionale Beschreibung ein.

    3. Modellauswahl — Wählen Sie das Modell Amazon Titan Text G1 — Lite.

      Weitere Informationen zu verfügbaren Modellen und dem Zugriff auf sie in Amazon Bedrock finden Sie unterZugriff auf Amazon Bedrock Foundation-Modelle verwalten.

    4. (Optional) Wählen Sie Aktualisieren, um die Inferenzkonfiguration zu ändern.

      Durch eine Änderung der Inferenzkonfiguration werden die vom ausgewählten Modell generierten Antworten geändert. Weitere Informationen zu den verfügbaren Inferenzparametern finden Sie unter Inferenzparameter für Basismodelle.

    5. Aufgabentyp — Wählen Sie Allgemeine Textgenerierung.

    6. Auf der Karte Metriken und Datensätze — Sie können eine Liste der verfügbaren Metriken und der integrierten Prompt-Datensätze sehen. Die Datensätze ändern sich je nach der ausgewählten Aufgabe. Lassen Sie in diesem Tutorial die Standardoptionen ausgewählt.

    7. Evaluationsergebnisse — Geben Sie das S3 URI des Verzeichnisses an, in dem die Ergebnisse Ihres Modellevaluierungsjobs gespeichert werden sollen. Wählen Sie Browse S3, um in Amazon S3 nach einem Standort zu suchen.

    8. Amazon IAMBedrock-Rolle — Wählen Sie das Optionsfeld Neue Rolle erstellen.

    9. (Optional) Ändern Sie unter Name der Servicerolle das Suffix der Rolle, die in Ihrem Namen erstellt wird. Auf diese Weise erstellte Rollen beginnen immer mit Amazon-Bedrock- -Role- IAM.

    10. Für eine automatische Modellevaluierung ist immer ein Output-Bucket erforderlich, der für die jeweilige Servicerolle spezifisch sein muss. IAM Wenn Sie in den Evaluierungsergebnissen bereits einen Bereich angegeben haben, ist dieses Feld bereits ausgefüllt.

    11. Wählen Sie als Nächstes Rolle erstellen aus.

  5. Wählen Sie Erstellen, um mit dem Auftrag zur Modellbewertung zu beginnen.

Sobald der Auftrag erfolgreich gestartet wurde, ändert sich der Status in In Bearbeitung. Sobald der Auftrag abgeschlossen ist, wechselt der Status zu Abgeschlossen.

Um einen Modellevaluierungsjob zu beenden, der gerade ausgeführt wird, wählen Sie Evaluierung beenden. Der Status des Modellevaluierungsauftrags ändert sich von In Bearbeitung zu Beendet. Sobald sich der Status des Jobs auf Gestoppt geändert hat.

Informationen zum Auswerten, Anzeigen und Herunterladen der Ergebnisse Ihrer Modellbewertung finden Sie unter Ergebnisse von Aufträgen zur Modellbewertung.