Erstellen eines Auftrags zur Modellbewertung mit menschliche Mitarbeitern

Erstellen eines Auftrags zur Modellbewertung mit menschlichen Mitarbeitern

1. Öffnen Sie die Amazon Bedrock-Konsole: Home https://console.aws.amazon.com/bedrock/

2. Klicken Sie im Navigationsbereich auf Modelle.

3. Wählen Sie auf der Testkarte Erstellen Sie unter Mensch: Bringen Sie Ihr eigenes Team mit die Option Evaluierung erstellen aus.

4. Führen Sie auf der Seite Auftragsdetails festlegen die folgenden Schritte aus.

   1. Auswertungsname: Geben Sie dem Auftrag zur Modellbewertung einen beschreibenden Namen. Dieser Name wird in der Liste Ihrer Aufträge zur Modellbewertung angezeigt. Der Name muss in Ihrem AWS-Konto Namen eindeutig sein. AWS-Region

   2. Beschreibung (optional): Geben Sie eine optionale Beschreibung ein.

5. Wählen Sie anschließend Weiter.

6. Geben Sie auf der Seite Bewertung einrichten Folgendes ein.

   1. Modelle: Sie können bis zu zwei Modelle auswählen, die Sie im Auftrag zur Modellbewertung verwenden möchten.

      Weitere Informationen zu den verfügbaren Modellen in Amazon Bedrock finden Sie unter Zugriff auf Amazon Bedrock Foundation-Modelle verwalten.

   2. (Optional) Um die Inferenzkonfiguration für die ausgewählten Modelle zu ändern, wählen Sie „Aktualisieren“.

      Durch eine Änderung der Inferenzkonfiguration werden die von den ausgewählten Modellen generierten Antworten geändert. Weitere Informationen zu den verfügbaren Inferenzparametern finden Sie unter Inferenzparameter für Basismodelle.

   3. Aufgabentyp: Wählen Sie den Aufgabentyp aus, den das Modell während des Auftrags zur Modellbewertung ausführen soll. Alle Anweisungen für das Modell müssen in den Eingabeaufforderungen enthalten sein. Der Aufgabentyp hat keinen Einfluss auf die Antworten des Modells.

   4. Bewertungsmetriken: Die Liste der empfohlenen Metriken ändert sich je nach der ausgewählten Aufgabe. Für jede empfohlene Metrik müssen Sie eine Bewertungsmethode auswählen. Sie können maximal 10 Bewertungsmetriken pro Auftrag zur Modellbewertung verwenden.

   5. (Optional) Wählen Sie Neue Metrik hinzufügen, um eine neue Metrik hinzuzufügen. Sie müssen die Metrik, die Beschreibung und die Bewertungsmethode definieren.

   6. Auf der Karte „Datensätze“ müssen Sie Folgendes angeben.

      1. Wählen Sie einen Prompt-Datensatz — Geben Sie den S3-Wert URI Ihrer Prompt-Datensatzdatei an oder wählen Sie „S3 durchsuchen“, um die verfügbaren S3-Buckets zu sehen. Sie können maximal 1000 Eingabeaufforderungen in einem benutzerdefinierten Prompt-Datensatz haben.

      2. Ziel der Evaluationsergebnisse — Sie müssen das S3 URI des Verzeichnisses angeben, in dem die Ergebnisse Ihres Modellevaluierungsjobs gespeichert werden sollen, oder S3 durchsuchen wählen, um die verfügbaren S3-Buckets zu sehen.

   7. (Optional) AWS KMS Schlüssel — Geben Sie den vom ARN Kunden verwalteten Schlüssel an, den Sie zur Verschlüsselung Ihres Modellevaluierungsjobs verwenden möchten.

   8. Auf der Karte Amazon Bedrock IAM Rolle — Berechtigungen müssen Sie Folgendes tun. Lesen Sie Erforderliche Berechtigungen und IAM Servicerollen zum Erstellen eines Modellevaluierungsjobs, um mehr über die für Modellbewertungen erforderlichen Berechtigungen zu erfahren.

      1. Um eine bestehende Amazon Bedrock-Servicerolle zu verwenden, wählen Sie Bestehende Rolle verwenden aus. Andernfalls verwenden Sie Neue Rolle erstellen, um die Details Ihrer neuen IAM Servicerolle anzugeben.

      2. Geben Sie im Feld Name der Servicerolle den Namen Ihrer IAM Servicerolle an.

      3. Wenn Sie bereit sind, wählen Sie Rolle erstellen aus, um die neue IAM Servicerolle zu erstellen.

7. Wählen Sie anschließend Weiter.

8. Geben Sie auf der Karte Berechtigungen Folgendes an. Lesen Sie Erforderliche Berechtigungen und IAM Servicerollen zum Erstellen eines Modellevaluierungsjobs, um mehr über die für Modellbewertungen erforderlichen Berechtigungen zu erfahren.

9. IAMWorkflow-Rolle „Mensch“ — Geben Sie eine SageMaker Servicerolle an, die über die erforderlichen Berechtigungen verfügt.

10. Geben Sie auf der Karte Arbeitsteam Folgendes an.

    Anforderungen an Benachrichtigungen für Mitarbeiter

    Wenn Sie einen neuen Mitarbeiter zu einem Auftrag zur Modellbewertung hinzufügen, erhält er automatisch eine E-Mail, in der er zur Teilnahme an dem Auftrag zur Modellbewertung eingeladen wird. Wenn Sie einen vorhandenen menschlichen Mitarbeiter zu einem Modellevaluierungsjob hinzufügen, müssen Sie ihn benachrichtigen und ihm ein Mitarbeiterportal URL für den Modellevaluierungsjob zur Verfügung stellen. Der bestehende Mitarbeiter erhält keine automatische E-Mail-Benachrichtigung darüber, dass er dem neuen Auftrag zur Modellbewertung hinzugefügt wurde.

    1. Geben Sie in der Dropdownliste Team auswählen entweder Neues Arbeitsteam erstellen oder den Namen eines vorhandenen Arbeitsteams an.

    2. (Optional) Anzahl der Arbeitnehmer pro Prompt: Aktualisieren Sie die Anzahl der Mitarbeiter, die jede Eingabeaufforderung bewerten. Nachdem die Antworten für jede Eingabeaufforderung anhand der Anzahl der von Ihnen ausgewählten Mitarbeiter überprüft wurden, werden die Eingabeaufforderung und ihre Antworten vom Arbeitsteam aus dem Verkehr gezogen. Der endgültige Ergebnisbericht wird alle Bewertungen der einzelnen Mitarbeiter enthalten.

    3. (Optional) Bestehende Mitarbeiter-E-Mail-Adresse — Wählen Sie diese Option, um eine E-Mail-Vorlage zu kopieren, die das Mitarbeiterportal enthältURL.

    4. (Optional) E-Mail eines neuen Arbeitnehmers: Wählen Sie diese Option, um die E-Mails anzuzeigen, die neue Mitarbeiter automatisch erhalten.

       Wichtig

       Es ist bekannt, dass große Sprachmodelle gelegentlich halluzinieren und toxische oder anstößige Inhalte produzieren. Es kann sein, dass Ihre Mitarbeitern bei dieser Bewertung toxischem oder anstößigem ausgesetzt werden. Ergreifen Sie entsprechende Schulungsmaßnahmen und benachrichtigen Sie sie, bevor sie einer Bewertung zugeteilt werden. Sie können Aufgaben ablehnen und freigeben oder während der Bewertung Pausen einlegen und können gleichzeitig auf das menschliche Bewertungstool zugreifen.

11. Wählen Sie anschließend Weiter.

12. Verwenden Sie auf der Seite Anweisungen geben den Texteditor, um Anweisungen zur Ausführung der Aufgabe bereitzustellen. Sie können eine Vorschau der Bewertungs-Benutzeroberfläche anzeigen, die Ihr Arbeitsteam zur Bewertung der Antworten verwendet, einschließlich der Metriken, Bewertungsmethoden und Ihrer Anweisungen. Diese Vorschau basiert auf der Konfiguration, die Sie für diesen Auftrag erstellt haben.

13. Wählen Sie anschließend Weiter.

14. Auf der Seite Überprüfen und erstellen finden Sie eine Zusammenfassung der Optionen, die Sie in den vorherigen Schritten ausgewählt haben.

15. Wählen Sie Erstellen, um mit dem Auftrag zur Modellbewertung zu beginnen.