Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Starten eines automatischen Modellevaluierungsjobs in Amazon Bedrock
Sie können einen automatischen Modellevaluierungsjob erstellen, indem Sie die AWS Management Console Option AWS CLI, oder eine unterstützte Option verwenden AWS SDK. In einem automatischen Modellevaluierungsjob führt das von Ihnen ausgewählte Modell Inferenzen durch, indem es entweder Eingabeaufforderungen aus einem unterstützten integrierten Datensatz oder Ihren eigenen benutzerdefinierten Eingabeaufforderungsdatensatz verwendet. Für jeden Job müssen Sie außerdem einen Aufgabentyp auswählen. Der Aufgabentyp bietet Ihnen einige empfohlene Messwerte und integrierte Eingabeaufforderungsdatensätze. Weitere Informationen zu verfügbaren Aufgabentypen und Metriken finden Sie unterAufgabentypen zur Modellevaluierung in Amazon Bedrock.
Die folgenden Beispiele zeigen Ihnen, wie Sie mit der Amazon Bedrock-Konsole,, AWS CLI SDK für Python einen automatischen Modellevaluierungsjob erstellen.
Alle automatischen Modellevaluierungsaufträge erfordern, dass Sie eine IAM Servicerolle erstellen. Weitere Informationen zu den IAM Anforderungen für die Einrichtung eines Jobs zur Modellevaluierung finden Sie unterAnforderungen an die Servicerolle für Aufträge zur Modellbewertung.
Die folgenden Beispiele zeigen, wie Sie einen automatischen Modellevaluierungsauftrag erstellen. In der API können Sie auch ein Inferenzprofil in den Job aufnehmen, indem Sie es ARN im modelIdentifier
Feld angeben.
- Amazon Bedrock console
-
Gehen Sie wie folgt vor, um mithilfe der Amazon Bedrock-Konsole einen Modellevaluierungsauftrag zu erstellen. Um dieses Verfahren erfolgreich abzuschließen, stellen Sie sicher, dass Ihr IAM Benutzer, Ihre Gruppe oder Rolle über ausreichende Berechtigungen für den Zugriff auf die Konsole verfügt. Weitere Informationen hierzu finden Sie unter Erforderliche Konsolenberechtigungen, um einen automatischen Modellevaluierungsjob zu erstellen.
Außerdem müssen für alle Datensätze mit benutzerdefinierten Eingabeaufforderungen, die Sie im Modellevaluierungsjob angeben möchten, die erforderlichen CORS Berechtigungen zum Amazon S3 S3-Bucket hinzugefügt werden. Weitere Informationen zum Hinzufügen der erforderlichen CORS Berechtigungen finden Sie unterErforderliche Cross Origin Resource Sharing (CORS) -Berechtigungen für S3-Buckets.
Um einen automatischen Modellevaluierungsjob zu erstellen
-
Öffnen Sie die Amazon Bedrock-Konsole: https://console.aws.amazon.com/bedrock/
-
Klicken Sie im Navigationsbereich auf Modelle.
-
Wählen Sie auf der Karte Eine Bewertung erstellen unter Automatisch die Option Automatische Bewertung erstellen.
-
Geben Sie auf der Seite Automatische Bewertung erstellen die folgenden Informationen ein:
-
Auswertungsname: Geben Sie dem Auftrag zur Modellbewertung einen Namen, der den Auftrag beschreibt. Dieser Name wird in der Liste Ihrer Aufträge zur Modellbewertung angezeigt. Der Name muss in Ihrem Konto in einer AWS-Region eindeutig sein.
-
Beschreibung (optional): Geben Sie eine optionale Beschreibung ein.
-
Modelle: Wählen Sie das Modell aus, das Sie bei der Modellbewertung verwenden möchten.
Weitere Informationen zu verfügbaren Modellen und dem Zugriff auf sie in Amazon Bedrock finden Sie unterGreifen Sie auf Amazon Bedrock Foundation-Modelle zu.
-
(Optional) Wählen Sie Aktualisieren, um die Inferenzkonfiguration zu ändern.
Durch eine Änderung der Inferenzkonfiguration werden die von den ausgewählten Modellen generierten Antworten geändert. Weitere Informationen zu den verfügbaren Inferenzparametern finden Sie unter Inferenzanforderungsparameter und Antwortfelder für Foundation-Modelle.
-
Aufgabentyp: Wählen Sie den Aufgabentyp aus, den das Modell während des Auftrags zur Modellbewertung ausführen soll.
-
Metriken und Datensätze: Die Liste der verfügbaren Metriken und der integrierten Prompt-Datensätze ändert sich je nach der ausgewählten Aufgabe. Sie können aus der Liste Verfügbare integrierte Datensätze oder „Eigenen Prompt-Datensatz verwenden“ wählen. Wenn Sie Ihren eigenen Prompt-Datensatz verwenden möchten, geben Sie den exakten S3-Wert Ihrer URI Prompt-Datensatzdatei ein oder wählen Sie „S3 durchsuchen“, um nach Ihrem Prompt-Datensatz zu suchen.
-
>Evaluationsergebnisse — Geben Sie den S3 URI des Verzeichnisses an, in dem die Ergebnisse gespeichert werden sollen. Wählen Sie Browse S3, um in Amazon S3 nach einem Standort zu suchen.
-
(Optional) Um die Verwendung eines vom Kunden verwalteten Schlüssels zu aktivieren, wählen Sie Verschlüsselungseinstellungen anpassen (erweitert). Geben Sie dann den ARN AWS KMS
Schlüssel ein, den Sie verwenden möchten.
-
Amazon IAM Bedrock-Rolle — Wählen Sie Bestehende Rolle verwenden, um eine IAM Servicerolle zu verwenden, die bereits über die erforderlichen Berechtigungen verfügt, oder wählen Sie Neue Rolle erstellen, um eine neue IAM Servicerolle zu erstellen.
-
Wählen Sie dann die Option Erstellen.
Sobald sich der Status „Abgeschlossen“ ändert, können Sie das Zeugnis des Auftrags einsehen.
- SDK for Python
-
Im folgenden Beispiel wird ein automatischer Bewertungsauftrag erstellt mit Python.
import boto3
client = boto3.client('bedrock')
job_request = client.create_evaluation_job(
jobName="api-auto-job-titan
",
jobDescription="two different task types",
roleArn="arn:aws:iam::111122223333
:role/role-name
",
inferenceConfig={
"models": [
{
"bedrockModel": {
"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
"inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"
}
}
]
},
outputDataConfig={
"s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/
"
},
evaluationConfig={
"automated": {
"datasetMetricConfigs": [
{
"taskType": "QuestionAndAnswer",
"dataset": {
"name": "Builtin.BoolQ"
},
"metricNames": [
"Builtin.Accuracy",
"Builtin.Robustness"
]
}
]
}
}
)
print(job_request)
- AWS CLI
-
In der können Sie den help
Befehl verwenden AWS CLI, um zu sehen, welche Parameter erforderlich sind und welche Parameter optional sind, wenn Sie create-evaluation-job
in der angeben AWS CLI.
aws bedrock create-evaluation-job help
aws bedrock create-evaluation-job \
--job-name 'automatic-eval-job-cli-001
' \
--role-arn 'arn:aws:iam::111122223333
:role/role-name
' \
--evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \
--inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \
--output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs
"}'