Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erstellen eines Auftrags zur Modellbewertung mit menschliche Mitarbeitern
Bei einer Modellevaluierung, bei der menschliche Mitarbeiter zum Einsatz kommen, können Sie die Antworten von bis zu zwei Modellen auswerten und vergleichen. Sie können aus einer Liste empfohlener Metriken wählen oder eigene Metriken verwenden. In Ihrem Team können Sie maximal 20 Modellevaluierungsjobs mit menschlichen Arbeitskräften in Bearbeitung AWS-Konto haben AWS-Region.
Für jede verwendete Metrik müssen Sie eine Bewertungsmethode definieren. Die Bewertungsmethode legt fest, wie Ihre menschlichen Mitarbeiter die Antworten bewerten, die sie aus den von Ihnen ausgewählten Modellen erhalten. Weitere Informationen zu den verschiedenen verfügbaren Bewertungsmethoden und zur Erstellung qualitativ hochwertiger Anweisungen für Mitarbeiter finden Sie unterErstellen und Verwalten von Arbeitsteams in Amazon Bedrock.
Voraussetzungen
Bevor Sie das folgende Verfahren ausführen, müssen Sie folgende Schritte unternehmen: Modellevaluierungsaufträge, die in der Amazon Bedrock-Konsole erstellt wurden, erfordern, dass CORS Berechtigungen für die Amazon S3 S3-Buckets konfiguriert werden, die bei der Erstellung des Jobs angegeben wurden.
Bei Modellevaluierungsaufträgen, bei denen menschliche Mitarbeiter eingesetzt werden, werden integrierte Datensätze nicht unterstützt. Weitere Informationen zum Erstellen von Datensätzen mit benutzerdefinierten Eingabeaufforderungen finden Sie unter. Anforderungen für benutzerdefinierte Prompt-Datensätze bei Aufträgen zur Modellbewertung mit Mitarbeitern
-
Sie müssen Zugriff auf die Modelle in Amazon Bedrock haben.
-
Sie müssen über eine Amazon-Bedrock-Servicerolle verfügen. Wenn Sie noch keine Servicerolle erstellt haben, können Sie sie in der Amazon Bedrock-Konsole erstellen, während Sie Ihren Model-Evaluierungsjob einrichten. Die beigefügte Richtlinie muss Zugriff auf alle S3-Buckets gewähren, die im Modellevaluierungsjob verwendet werden, sowie auf alle im Job angegebenen Modelle. ARNs Außerdem müssen die in der Richtlinie definierten
sagemaker:DescribeFlowDefinition
SageMaker IAM Aktionensagemaker:StartHumanLoop
sagemaker:StopHumanLoop
,,sagemaker:DescribeHumanLoop
und definiert sein. Für die Servicerolle muss Amazon Bedrock außerdem in der Vertrauensrichtlinie der Rolle des Service-Prinzipal definiert sein. Weitere Informationen hierzu finden Sie unter Servicerollen. -
Sie müssen über eine SageMaker Amazon-Servicerolle verfügen. Wenn Sie noch keine Servicerolle erstellt haben, können Sie sie in der Amazon Bedrock-Konsole erstellen, während Sie Ihren Model-Evaluierungsjob einrichten. Die beigefügte Richtlinie muss Zugriff auf die folgenden Ressourcen und IAM Aktionen gewähren. Alle S3-Buckets, die im Auftrag zur Modellbewertung verwendet wurden. In der Vertrauensrichtlinie der Rolle muss der Dienstprinzipal SageMaker definiert sein. Weitere Informationen hierzu finden Sie unter Erforderliche Berechtigungen.
-
Der Benutzer, die Gruppe oder die Rolle, die auf die Amazon-Bedrock-Konsole zugreift, muss über die entsprechenden Berechtigungen für den Zugriff auf die erforderlichen Amazon-S3-Buckets verfügen.
-
Dem Amazon S3 S3-Ausgabe-Bucket und allen Datensatz-Buckets mit benutzerdefinierten Eingabeaufforderungen müssen die erforderlichen CORS Berechtigungen hinzugefügt werden. Weitere Informationen zu den erforderlichen CORS Berechtigungen finden Sie unterErforderliche Cross-Origin-Berechtigung zur gemeinsamen Nutzung von Ressourcen (CORS) für S3-Buckets.
Tutorial: Modellevaluierungen erstellen, bei denen menschliche Mitarbeiter zum Einsatz kommen
Verwenden Sie das folgende Tutorial, um einen Modellevaluierungsjob zu erstellen, bei dem menschliche Arbeitskräfte verwendet werden.
Anzeigen von Ergebnissen der Aufträge zur Modellbewertung mit der Amazon-Bedrock-Konsole
Wenn ein Auftrag zur Modellbewertung abgeschlossen ist, werden die Ergebnisse in dem von Ihnen angegebenen Amazon-S3-Bucket gespeichert. Wenn Sie den Speicherort der Ergebnisse in irgendeiner Weise ändern, ist der Bericht über die Modellbewertung nicht mehr in der Konsole sichtbar.
Erstellen eines Auftrags zur Modellbewertung mit menschlichen Mitarbeitern
-
Öffnen Sie die Amazon Bedrock-Konsole: Home https://console.aws.amazon.com/bedrock/
-
Klicken Sie im Navigationsbereich auf Modelle.
-
Wählen Sie auf der Testkarte Erstellen Sie unter Mensch: Bringen Sie Ihr eigenes Team mit die Option Evaluierung erstellen aus.
-
Führen Sie auf der Seite Auftragsdetails festlegen die folgenden Schritte aus.
-
Auswertungsname: Geben Sie dem Auftrag zur Modellbewertung einen beschreibenden Namen. Dieser Name wird in der Liste Ihrer Aufträge zur Modellbewertung angezeigt. Der Name muss in Ihrem AWS-Konto Namen eindeutig sein. AWS-Region
-
Beschreibung (optional): Geben Sie eine optionale Beschreibung ein.
-
-
Wählen Sie anschließend Weiter.
-
Geben Sie auf der Seite Bewertung einrichten Folgendes ein.
-
Modelle: Sie können bis zu zwei Modelle auswählen, die Sie im Auftrag zur Modellbewertung verwenden möchten.
Weitere Informationen zu den verfügbaren Modellen in Amazon Bedrock finden Sie unter Zugriff auf Amazon Bedrock Foundation-Modelle verwalten.
-
(Optional) Um die Inferenzkonfiguration für die ausgewählten Modelle zu ändern, wählen Sie „Aktualisieren“.
Durch eine Änderung der Inferenzkonfiguration werden die von den ausgewählten Modellen generierten Antworten geändert. Weitere Informationen zu den verfügbaren Inferenzparametern finden Sie unter Inferenzparameter für Basismodelle.
-
Aufgabentyp: Wählen Sie den Aufgabentyp aus, den das Modell während des Auftrags zur Modellbewertung ausführen soll. Alle Anweisungen für das Modell müssen in den Eingabeaufforderungen enthalten sein. Der Aufgabentyp hat keinen Einfluss auf die Antworten des Modells.
-
Bewertungsmetriken: Die Liste der empfohlenen Metriken ändert sich je nach der ausgewählten Aufgabe. Für jede empfohlene Metrik müssen Sie eine Bewertungsmethode auswählen. Sie können maximal 10 Bewertungsmetriken pro Auftrag zur Modellbewertung verwenden.
-
(Optional) Wählen Sie Neue Metrik hinzufügen, um eine neue Metrik hinzuzufügen. Sie müssen die Metrik, die Beschreibung und die Bewertungsmethode definieren.
-
Auf der Karte „Datensätze“ müssen Sie Folgendes angeben.
-
Wählen Sie einen Prompt-Datensatz — Geben Sie den S3-Wert URI Ihrer Prompt-Datensatzdatei an oder wählen Sie „S3 durchsuchen“, um die verfügbaren S3-Buckets zu sehen. Sie können maximal 1000 Eingabeaufforderungen in einem benutzerdefinierten Prompt-Datensatz haben.
-
Ziel der Evaluationsergebnisse — Sie müssen das S3 URI des Verzeichnisses angeben, in dem die Ergebnisse Ihres Modellevaluierungsjobs gespeichert werden sollen, oder S3 durchsuchen wählen, um die verfügbaren S3-Buckets zu sehen.
-
-
(Optional) AWS KMS Schlüssel — Geben Sie den vom ARN Kunden verwalteten Schlüssel an, den Sie zur Verschlüsselung Ihres Modellevaluierungsjobs verwenden möchten.
-
Auf der Karte Amazon Bedrock IAM Rolle — Berechtigungen müssen Sie Folgendes tun. Lesen Sie Erforderliche Berechtigungen und IAM Servicerollen zum Erstellen eines Modellevaluierungsjobs, um mehr über die für Modellbewertungen erforderlichen Berechtigungen zu erfahren.
-
Um eine bestehende Amazon Bedrock-Servicerolle zu verwenden, wählen Sie Bestehende Rolle verwenden aus. Andernfalls verwenden Sie Neue Rolle erstellen, um die Details Ihrer neuen IAM Servicerolle anzugeben.
-
Geben Sie im Feld Name der Servicerolle den Namen Ihrer IAM Servicerolle an.
-
Wenn Sie bereit sind, wählen Sie Rolle erstellen aus, um die neue IAM Servicerolle zu erstellen.
-
-
-
Wählen Sie anschließend Weiter.
-
Geben Sie auf der Karte Berechtigungen Folgendes an. Lesen Sie Erforderliche Berechtigungen und IAM Servicerollen zum Erstellen eines Modellevaluierungsjobs, um mehr über die für Modellbewertungen erforderlichen Berechtigungen zu erfahren.
-
IAMWorkflow-Rolle „Mensch“ — Geben Sie eine SageMaker Servicerolle an, die über die erforderlichen Berechtigungen verfügt.
-
Geben Sie auf der Karte Arbeitsteam Folgendes an.
Anforderungen an Benachrichtigungen für Mitarbeiter
Wenn Sie einen neuen Mitarbeiter zu einem Auftrag zur Modellbewertung hinzufügen, erhält er automatisch eine E-Mail, in der er zur Teilnahme an dem Auftrag zur Modellbewertung eingeladen wird. Wenn Sie einen vorhandenen menschlichen Mitarbeiter zu einem Modellevaluierungsjob hinzufügen, müssen Sie ihn benachrichtigen und ihm ein Mitarbeiterportal URL für den Modellevaluierungsjob zur Verfügung stellen. Der bestehende Mitarbeiter erhält keine automatische E-Mail-Benachrichtigung darüber, dass er dem neuen Auftrag zur Modellbewertung hinzugefügt wurde.
-
Geben Sie in der Dropdownliste Team auswählen entweder Neues Arbeitsteam erstellen oder den Namen eines vorhandenen Arbeitsteams an.
-
(Optional) Anzahl der Arbeitnehmer pro Prompt: Aktualisieren Sie die Anzahl der Mitarbeiter, die jede Eingabeaufforderung bewerten. Nachdem die Antworten für jede Eingabeaufforderung anhand der Anzahl der von Ihnen ausgewählten Mitarbeiter überprüft wurden, werden die Eingabeaufforderung und ihre Antworten vom Arbeitsteam aus dem Verkehr gezogen. Der endgültige Ergebnisbericht wird alle Bewertungen der einzelnen Mitarbeiter enthalten.
-
(Optional) Bestehende Mitarbeiter-E-Mail-Adresse — Wählen Sie diese Option, um eine E-Mail-Vorlage zu kopieren, die das Mitarbeiterportal enthältURL.
-
(Optional) E-Mail eines neuen Arbeitnehmers: Wählen Sie diese Option, um die E-Mails anzuzeigen, die neue Mitarbeiter automatisch erhalten.
Wichtig
Es ist bekannt, dass große Sprachmodelle gelegentlich halluzinieren und toxische oder anstößige Inhalte produzieren. Es kann sein, dass Ihre Mitarbeitern bei dieser Bewertung toxischem oder anstößigem ausgesetzt werden. Ergreifen Sie entsprechende Schulungsmaßnahmen und benachrichtigen Sie sie, bevor sie einer Bewertung zugeteilt werden. Sie können Aufgaben ablehnen und freigeben oder während der Bewertung Pausen einlegen und können gleichzeitig auf das menschliche Bewertungstool zugreifen.
-
-
Wählen Sie anschließend Weiter.
-
Verwenden Sie auf der Seite Anweisungen geben den Texteditor, um Anweisungen zur Ausführung der Aufgabe bereitzustellen. Sie können eine Vorschau der Bewertungs-Benutzeroberfläche anzeigen, die Ihr Arbeitsteam zur Bewertung der Antworten verwendet, einschließlich der Metriken, Bewertungsmethoden und Ihrer Anweisungen. Diese Vorschau basiert auf der Konfiguration, die Sie für diesen Auftrag erstellt haben.
-
Wählen Sie anschließend Weiter.
-
Auf der Seite Überprüfen und erstellen finden Sie eine Zusammenfassung der Optionen, die Sie in den vorherigen Schritten ausgewählt haben.
-
Wählen Sie Erstellen, um mit dem Auftrag zur Modellbewertung zu beginnen.
Sobald der Auftrag erfolgreich gestartet wurde, ändert sich der Status in In Bearbeitung. Sobald der Auftrag abgeschlossen ist, wechselt der Status zu Abgeschlossen. Solange ein Modellevaluierungsauftrag noch in Bearbeitung ist, können Sie festlegen, dass der Job gestoppt wird, bevor alle Antworten der Modelle von Ihrem Arbeitsteam bewertet wurden. Wählen Sie dazu auf der Landingpage zur Modellevaluierung die Option Bewertung beenden aus. Dadurch wird der Status des Modellevaluierungsjobs in Beendet geändert. Sobald der Modellevaluierungsjob erfolgreich beendet wurde, können Sie den Modellevaluierungsjob löschen.
Informationen zum Auswerten, Anzeigen und Herunterladen der Ergebnisse Ihrer Modellbewertung finden Sie unter Ergebnisse von Aufträgen zur Modellbewertung.