Coherence: Measures the organization and structure of a generated text. - Thumbs up/down\nAccuracy: Indicates the accuracy of a generated text. - Choice buttons
\nThe evaluation creator should use this space to write detailed descriptions for every rating method so your evaluators know how to properly rate the responses with the buttons on their screen.
\nIf using Likert scale - individual, define the 1 and 5 of the 5 point Likert scale for each metric so your evaluators know if 1 or 5 means favorable/acceptable/preferable.\nIf using Likert scale - comparison, describe what the evaluator is looking for to determine their preference between two responses.\nIf using Choice buttons, describe what is preferred according to your metric and its description.\nIf using Ordinal ranking, define what should receive a #1 ranking according to your metric and its description.\nIf using Thumbs up/down, define what makes an acceptable response according to your metric and its description.
\nDescribe the purpose of your ground truth responses that will be shown on screen next to each model response. Note that the ground truth responses you provide are not rated/scored by the evaluators - they are meant to be a reference standard for comparison against the model responses.
" } } }, "inferenceConfig": { "models": [ { "precomputedInferenceSource": { "inferenceSourceIdentifier": "llama-3-1-80b" } }, { "precomputedInferenceSource": { "inferenceSourceIdentifier": "my_other_model" } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` ------ #### [ SDK for Python ] Das folgende Codebeispiele veranschaulicht, wie Sie einen Auftrag zur Modellbewertung unter Einsatz von Mitarbeitern über das SDK für Python erstellen. ``` import boto3 client = boto3.client('bedrock') job_request = client.create_evaluation_job( jobName="111122223333-job-01", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role", inferenceConfig={ ## You must specify and array of models "models": [ { "bedrockModel": { "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1", "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}" } }, { "bedrockModel": { "modelIdentifier": "anthropic.claude-v2", "inferenceParams": "{\"inferenceConfig\":{\"maxTokens\":512,\"temperature\":1,\"topP\":0.999,\"stopSequences\":[\"stop\"]},\"additionalModelRequestFields\":{\"top_k\": 128}}" } } ] }, outputDataConfig={ "s3Uri":"s3://job-bucket/outputs/" }, evaluationConfig={ "human": { "humanWorkflowConfig": { "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn", "instructions": "some human eval instruction" }, "customMetrics": [ { "name": "IndividualLikertScale", "description": "testing", "ratingMethod": "IndividualLikertScale" } ], "datasetMetricConfigs": [ { "taskType": "Summarization", "dataset": { "name": "Custom_Dataset1", "datasetLocation": { "s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl" } }, "metricNames": [ "IndividualLikertScale" ] } ] } } ) print(job_request) ``` ------ # Auflisten von Modellbewertungsaufträgen, die Mitarbeiter in Amazon Bedrock einsetzen Sie können Ihre aktuellen Modellbewertungsaufträge auflisten, die Mitarbeiter über die AWS CLI einsetzen oder ein unterstütztes AWS SDK verwenden. In der Amazon-Bedrock-Konsole können Sie auch eine Tabelle anzeigen, die Ihre aktuellen Aufträge zur Modellbewertung enthält. Die folgenden Beispiele zeigen, wie Sie Ihre Aufträge zur Modellbewertung mit der AWS-Managementkonsole, der AWS CLI und dem SDK für Python suchen. ------ #### [ Amazon Bedrock console ] 1. Öffnen Sie die Amazon-Bedrock-Konsole unter: [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home). 1. Klicken Sie im Navigationsbereich auf **Modelle**. 1. Auf der Karte **Modellbewertungsaufträge** finden Sie eine Tabelle, in der die Aufträge zur Modellbewertung aufgeführt sind, die Sie bereits erstellt haben. ------ #### [ AWS CLI ] In der AWS CLI können Sie den Befehl `help` verwenden, um zu sehen, welche Parameter erforderlich und welche optional sind, wenn Sie `list-evaluation-jobs` nutzen. ``` aws bedrock list-evaluation-jobs help ``` Im Folgenden finden Sie ein Beispiel für die Verwendung von `list-evaluation-jobs` und die Angabe, dass maximal 5 Aufträge zurückgegeben werden sollen. Standardmäßig werden Aufträge in absteigender Reihenfolge ab dem Zeitpunkt zurückgegeben, zu dem sie gestartet wurden. ``` aws bedrock list-evaluation-jobs --max-items 5 ``` ------ #### [ SDK for Python ] Die folgenden Beispiele zeigen, wie Sie einen Auftrag zur Modellbewertung, den Sie zuvor erstellt haben, mit dem AWS SDK für Python suchen. ``` import boto3 client = boto3.client('bedrock') job_request = client.list_evaluation_jobs(maxResults=20) print (job_request) ``` ------ # Beenden eines Auftrags zur Modellbewertung in Amazon Bedrock Sie können einen Modellbewertungsauftrag, der gerade verarbeitet wird, mit der AWS-Managementkonsole, der AWS CLI oder einem unterstützten AWS SDK beenden. Die folgenden Beispiele zeigen, wie Sie einen Auftrag zur Modellbewertung mit der AWS-Managementkonsole, der AWS CLI und dem SDK für Python beenden. ------ #### [ Amazon Bedrock console ] Das folgende Beispiel zeigt, wie Sie einen Auftrag zur Modellbewertung über die AWS-Managementkonsole beenden können. 1. Öffnen Sie die Amazon-Bedrock-Konsole unter: [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home). 1. Klicken Sie im Navigationsbereich auf **Modelle**. 1. Auf der Karte **Modellbewertungsaufträge** finden Sie eine Tabelle, in der die Aufträge zur Modellbewertung aufgeführt sind, die Sie bereits erstellt haben. 1. Wählen Sie das Optionsfeld neben dem gewünschten Auftragsnamen aus. 1. Wählen Sie dann **Bewertung beenden** aus. ------ #### [ SDK for Python ] Das folgende Beispiel zeigt, wie Sie einen Auftrag zur Modellbewertung mit dem SDK für Python beenden. ``` import boto3 client = boto3.client('bedrock') response = client.stop_evaluation_job( ## The ARN of the model evaluation job you want to stop. jobIdentifier='arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza' ) print(response) ``` ------ #### [ AWS CLI ] In der AWS CLI können Sie den Befehl `help` verwenden, um zu sehen, welche Parameter erforderlich und welche optional sind, wenn Sie `add-something` in der AWS CLI angeben. ``` aws bedrock create-evaluation-job help ``` Das folgende Beispiel zeigt, wie Sie einen Auftrag zur Modellbewertung über die AWS CLI beenden können. ``` aws bedrock stop-evaluation-job --job-identifier arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza ``` ------ # Löschen eines Auftrags zur Modellbewertung in Amazon Bedrock Sie können einen Modellbewertungsauftrag mithilfe der Amazon-Bedrock-Konsole oder mit der [BatchDeleteEvaluationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_BatchDeleteEvaluationJob.html)-Operation mit der AWS CLI oder einem unterstützten AWS SDK löschen. Bevor Sie einen Modellbewertungsauftrag löschen können, muss der Auftrag den Status `FAILED`, `COMPLETED` oder `STOPPED` haben. Sie können den aktuellen Status eines Auftrags über die Amazon-Bedrock-Konsole oder durch Aufrufen von [ListEvaluationJobs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListEvaluationJobs.html) aufrufen. Weitere Informationen finden Sie unter [Auflisten von Aufträgen zur automatischen Modellbewertung in Amazon BedrockAuflisten von Modellbewertungsaufträgen, die Mitarbeiter in Amazon Bedrock einsetzen](model-evaluation-jobs-management-list.md). Sie können mit der Konsole und mit der `BatchDeleteEvaluationJob`-Operation bis zu 25 Modellbewertungsaufträge gleichzeitig löschen. Wenn Sie weitere Aufträge löschen müssen, wiederholen Sie den Konsolenvorgang oder den Aufruf von `BatchDeleteEvaluationJob`. Wenn Sie mit der `BatchDeleteEvaluationJob`-Operation einen Modellbewertungsauftrag löschen, benötigen Sie die Amazon-Ressourcennamen (ARNs) der Modelle, die Sie löschen möchten. Weitere Informationen zum Abrufen des ARN für ein Modell finden Sie unter [Auflisten von Aufträgen zur automatischen Modellbewertung in Amazon BedrockAuflisten von Modellbewertungsaufträgen, die Mitarbeiter in Amazon Bedrock einsetzen](model-evaluation-jobs-management-list.md). Wenn Sie einen Modellbewertungsauftrag löschen, werden alle Ressourcen in Amazon Bedrock und Amazon SageMaker AI entfernt. Alle in Amazon-S3-Buckets gespeicherten Aufträge zur Modellbewertung bleiben unverändert. Außerdem werden bei Modellbewertungsaufträgen, bei denen Mitarbeiter eingesetzt werden, durch das Löschen eines Modellbewertungsauftrags nicht die Belegschaft oder das Arbeitsteam gelöscht, die Sie in Amazon Cognito oder SageMaker AI konfiguriert haben. In den folgenden Abschnitten finden Sie Beispiele dafür, wie Sie einen Modellbewertungsauftrag löschen können. ------ #### [ Amazon Bedrock console ] Gehen Sie wie folgt vor, um einen Modellbewertungsauftrag über die Amazon-Bedrock-Konsole zu löschen. Stellen Sie zum erfolgreichen Abschluss dieses Verfahrens sicher, dass Ihr IAM-Benutzer, Ihre IAM-Gruppe bzw. -Rolle über die erforderlichen Berechtigungen für den Zugriff auf die Konsole verfügt. Weitere Informationen hierzu finden Sie unter [Erforderliche Konsolenberechtigungen für die Erstellung eines Auftrag zur Modellbewertung unter Einsatz von Mitarbeitern](model-evaluation-type-human.md#more-for-human). **So löschen Sie mehrere Aufträge zur Modellbewertung** 1. Öffnen Sie die Amazon-Bedrock-Konsole unter: [https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/). 1. Klicken Sie im Navigationsbereich auf **Modelle**. 1. Suchen Sie auf der Karte **Modellbewertungsaufträge** anhand der Tabelle nach den Modellbewertungsaufträgen, die Sie löschen möchten, und wählen Sie sie anhand des Kontrollkästchens neben dem Namen des Auftrags aus. Sie können bis zu 25 Aufträge auswählen. 1. Wählen Sie **Löschen** aus, um die Modellbewertungsaufträge zu löschen. 1. Wenn Sie weitere Modellbewertungsaufträge löschen müssen, wiederholen Sie die Schritte 3 und 4. ------ #### [ AWS CLI ] In der AWS CLI können Sie den Befehl `help` verwenden, um zu sehen, welche Parameter erforderlich und welche optional sind, wenn Sie `batch-delete-evaluation-job` nutzen. ``` aws bedrock batch-delete-evaluation-job help ``` Im Folgenden finden Sie ein Beispiel für die Verwendung von `batch-delete-evaluation-job` und die Angabe, dass zwei Modellbewertungsaufträge gelöscht werden sollen. Sie verwenden den Parameter `job-identifiers`, um eine Liste mit ARNs für die Modellbewertungsaufträge anzugeben, die gelöscht werden sollen. Sie können bis zu 25 Modellbewertungsaufträge in einem einzigen Aufruf von `batch-delete-evaluation-job` löschen. Wenn Sie weitere Aufträge löschen müssen, nehmen Sie weitere Aufrufe von `batch-delete-evaluation-job` vor. ``` aws bedrock batch-delete-evaluation-job \ --job-identifiers arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk ``` Nach dem Übermitteln erhalten Sie die folgende Antwort. ``` { "evaluationJobs": [ { "jobIdentifier": "rmqp8zg80rvg", "jobStatus": "Deleting" }, { "jobIdentifier": "xmfp9zg204fdk", "jobStatus": "Deleting" } ], "errors": [] } ``` ------ #### [ SDK for Python ] Die folgenden Beispiele zeigen, wie Sie einen Auftrag zur Modellbewertung mit dem AWS SDK für Python löschen. Verwenden Sie den Parameter `jobIdentifiers`, um eine Liste mit ARNs für die Modellbewertungsaufträge anzugeben, die gelöscht werden sollen. Sie können bis zu 25 Modellbewertungsaufträge in einem einzigen Aufruf von `BatchDeleteEvaluationJob` löschen. Wenn Sie weitere Aufträge löschen müssen, nehmen Sie weitere Aufrufe von `BatchDeleteEvaluationJob` vor. ``` import boto3 client = boto3.client('bedrock') job_request = client.batch_delete_model_evaluation_job(jobIdentifiers=["arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg", "arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk"]) print (job_request) ``` ------ # So verwalten Sie ein Arbeitsteam für menschliche Bewertungen von Modellen in Amazon Bedrock Für Bewertungsaufträge, bei denen Mitarbeiter eingesetzt werden, benötigen Sie ein Arbeitsteam. Ein Arbeitsteam ist eine Gruppe von Arbeitnehmern, die *Sie* auswählen. Dabei kann es sich um Mitarbeiter Ihres Unternehmens oder eine Gruppe von Experten aus Ihrer Branche handeln. **Benachrichtigungen für Mitarbeiter in Amazon Bedrock** Wenn Sie in Amazon Bedrock einen Bewertungsauftrag erstellen, werden Mitarbeiter *nur* dann über ihnen zugewiesene Aufträge informiert, wenn Sie sie zum ersten Mal zu einem Arbeitsteam hinzufügen. Wenn Sie einen Mitarbeiter während der Erstellung eines Bewertungsauftrags aus einem Arbeitsteam löschen, verliert er den Zugriff auf *alle* Bewertungsaufträge, die ihm zugewiesen wurden. Für alle neuen Bewertungsaufträge, die Sie einem vorhandenen menschlichen Mitarbeiter zuweisen, müssen Sie diesen direkt benachrichtigen und ihm die URL zum Mitarbeiterportal bereitstellen. Mitarbeiter müssen ihre zuvor erstellten Anmeldeinformationen für das Mitarbeiterportal verwenden. Dieses Mitarbeiterportal ist für alle Bewertungsjobs in Ihrem AWS Konto pro Region identisch. Sie können ein menschliches Arbeitsteam zusammenstellen oder ein bestehendes verwalten und gleichzeitig einen Evaluierungsjob einrichten, bis hin zu einer *privaten Belegschaft*, die von Amazon SageMaker Ground Truth verwaltet wird. Amazon SageMaker Ground Truth unterstützt erweiterte Funktionen für das Personalmanagement. Weitere Informationen zur Verwaltung Ihrer Belegschaft in Amazon SageMaker Ground Truth finden Sie unter [Belegschaften erstellen und verwalten](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-workforce-management.html). Sie können Mitarbeiter aus einem Arbeitsteam löschen, während Sie einen neuen Bewertungsauftrag einrichten. Andernfalls müssen Sie entweder die Amazon Cognito-Konsole oder die Amazon SageMaker Ground Truth Konsole verwenden, um Arbeitsteams zu verwalten, die Sie in Amazon Bedrock erstellt haben. Wenn der IAM-Benutzer, die Gruppe oder Rolle über die erforderlichen Berechtigungen verfügt, werden vorhandene private Belegschaften und Arbeitsteams, die Sie in Amazon Cognito, Amazon SageMaker Ground Truth oder Amazon Augmented AI erstellt haben, sichtbar angezeigt, wenn Sie einen Bewertungsauftrag erstellen, der menschliche Mitarbeiter einsetzt. Amazon Bedrock unterstützt maximal 50 Mitarbeiter pro Arbeitsteam. Im Feld E-Mail-Adressen können Sie bis zu 50 E-Mail-Adressen eingeben. Über die Amazon-Cognito-Konsole oder die Ground-Truth-Konsole können Sie Ihrem Bewertungsauftrag weitere Mitarbeiter hinzufügen. Die Adressen müssen durch ein Komma voneinander getrennt werden. Sie sollten Ihre eigene E-Mail-Adresse hinzufügen, damit Sie Teil der Belegschaft sind und Einsicht in die Kennzeichnungsaufträge haben. ## So erstellen Sie Anweisungen für menschliche Mitarbeiter Durch Erstellen guter Anweisungen für Aufträge zur Modellbewertung wird die Genauigkeit Ihrer Arbeitnehmer bei der Ausführung ihrer Aufgabe verbessert. Sie können die Standardanweisungen ändern, die in der Konsole angezeigt werden, wenn Sie einen Auftrag zur Modellbewertung erstellen. Die Anweisungen werden dem Auftragnehmer auf der Seite angezeigt, auf der er seine Labeling-Aufgabe durchführt. Sie können Anweisungen an zwei Stellen bereitstellen, um Mitarbeitern bei der Erledigung der ihnen zugewiesenen Aufgaben zu helfen. **Geben Sie für jede Bewertungs- und Bewertungsmethode eine aussagekräftige Beschreibung ein.** Die Beschreibungen sollten eine kurze Erläuterung der ausgewählten Metriken enthalten. In der Beschreibung sollte die Metrik näher erläutert und deutlich gemacht werden, wie Arbeitnehmer die gewählte Bewertungsmethode auswerten sollen. **Bereitstellen allgemeiner Bewertungsanweisungen für Ihre Mitarbeiter** Diese Anweisungen werden auf derselben Webseite angezeigt, auf der Arbeitnehmer eine Aufgabe durchführen. Sie können diesen Bereich verwenden, um allgemeine Anweisungen für den Auftrag zur Modellbewertung vorzugeben und die Ground-Truth-Antworten zu beschreiben, sofern Sie sie in Ihren Prompt-Datensatz aufgenommen haben. # Die Modellleistung mit einem anderen LLM-as-a-Judge bewerten Bei einem Auftrag zur Modellbewertung, der ein Judge-Modell verwendet, setzt Amazon Bedrock ein LLM ein, um die Antworten eines anderen Modells zu bewerten und zu erklären, wie jedes Prompt- und Antwortpaar bewertet wurde. Ergebnisse und Erläuterungen finden Sie auf der Seite für [Bewertungen](https://console.aws.amazon.com/bedrock/home#/eval/evaluation) der Amazon-Bedrock-Konsole. Für diese Art der Modellbewertung sind zwei verschiedene Modelle erforderlich, ein *Generatormodell* und ein *Evaluatormodell*. Sie definieren Prompts für das Generatormodell in einem Datensatz, und das Evaluatormodell bewertet die Antworten auf diese Prompts anhand der von Ihnen ausgewählten Metriken. Auf der Karte mit der Metrikübersicht in der Konsole wird ein Histogramm angezeigt, das zeigt, wie oft eine Antwort eine bestimmte Punktzahl erhalten hat. Außerdem enthält es Erläuterungen zur Punktzahl für die ersten fünf Prompts in Ihrem Datensatz. Der vollständige Bericht zur Modellbewertung ist im Amazon-S3-Bucket verfügbar, den Sie bei der Erstellung des Auftrags zur Modellbewertung angeben. Wenn Sie den Auftrag zur Modellbewertung erstellen, können Sie entweder ein Amazon-Bedrock-Modell als Generatormodell auswählen oder Sie können ein Modell bewerten, das nicht von Amazon Bedrock stammt, indem Sie Ihre eigenen Inferenzantwortdaten im Prompt-Datensatz angeben. Wenn Sie Ihre eigenen Antwortdaten angeben, überspringt Amazon Bedrock den Schritt zum Aufrufen des Modells und bewertet die von Ihnen bereitgestellten Daten direkt. Um die Antworten der Generatormodelle zu bewerten, bietet Amazon Bedrock eine Reihe integrierter Metriken, aus denen Sie die gewünschten auswählen können. Jede Metrik verwendet einen anderen Prompt für das Evaluatormodell. Sie können auch eigene benutzerdefinierte Metriken für Ihr spezielles Geschäftsszenario definieren. Weitere Informationen hierzu finden Sie unter [Verwenden von Metriken, um die Leistung des Modells zu verstehen](model-evaluation-metrics.md). ## Unterstützte Modelle ### Unterstützte Evaluatormodelle (integrierte Metriken) Um einen Bewertungsauftrag zu erstellen, der ein LLM-as-a-Judge mit den integrierten Metriken von Amazon Bedrock verwendet, benötigen Sie Zugriff auf mindestens eines der Judge-Modelle in der folgenden Liste. Weitere Informationen zum Zugriff auf Modelle und zur Verfügbarkeit in Regionen finden Sie unter [Zugriff auf Amazon-Bedrock-Basismodelle](model-access.md). + Amazon Nova Pro – `amazon.nova-pro-v1:0` + Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0` + Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + Anthropic Claude 3 Haiku – `anthropic.claude-3-haiku-20240307-v1:0` + Anthropic Claude 3.5 Haiku – `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Mistral Large – `mistral.mistral-large-2402-v1:0` [Regionsübergreifende Inferenzprofile](cross-region-inference.md) werden für die aufgelisteten Modelle unterstützt. Weitere Informationen hierzu finden Sie unter [Unterstützte regionsübergreifende Inferenzprofile](inference-profiles-support.md#inference-profiles-support-system). ### Unterstützte Evaluatormodelle (benutzerdefinierte Metriken) Um einen Bewertungsauftrag zu erstellen, der ein LLM-as-a-Judge mit benutzerdefinierten Metriken verwendet, benötigen Sie Zugriff auf mindestens eines der Judge-Modelle in der folgenden Liste. + Mistral Large 24.02 – `mistral.mistral-large-2402-v1:0` + Mistral Large 24.07 – `mistral.mistral-large-2407-v1:0` + Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0` + Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + Anthropic Claude 3 Haiku 3 – `anthropic.claude-3-haiku-20240307-v1:0` + Anthropic Claude 3 Haiku 3.5 – `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Meta Llama 3.3 70B Instruct – `meta.llama3-3-70b-instruct-v1:0` + Amazon Nova Pro – `amazon.nova-pro-v1:0` [Regionsübergreifende Inferenzprofile](cross-region-inference.md) werden für die aufgelisteten Modelle unterstützt. Weitere Informationen hierzu finden Sie unter [Unterstützte regionsübergreifende Inferenzprofile](inference-profiles-support.md#inference-profiles-support-system). ### Unterstützte Generatormodelle Sie können die folgenden Modelltypen in Amazon Bedrock als Generatormodell in einem Bewertungsauftrag verwenden. Sie können auch eigene Inferenzantwortdaten aus Modellen nutzen, die nicht von Amazon Bedrock stammen. + Basismodelle: [Informationen zum Amazon-Bedrock-Basismodell](foundation-models-reference.md) + Modelle von Amazon Bedrock Marketplace: [Amazon Bedrock Marketplace](amazon-bedrock-marketplace.md) + Benutzerdefinierte Basismodelle: [Anpassen des Modells für eine bessere Leistung im jeweiligen Anwendungsfall](custom-models.md) + Importierte Basismodelle: [Verwenden des Imports benutzerdefinierter Modelle, um ein benutzerdefiniertes Open-Source-Modell in Amazon Bedrock zu importieren](model-customization-import-model.md) + Prompt-Router: [Grundlegendes zum intelligenten Prompt Routing in Amazon Bedrock](prompt-routing.md) + Modelle, für die Sie bereitgestellten Durchsatz erworben haben: [Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock](prov-throughput.md) # Erstellen eines Prompt-Datensatzes für einen Auftrag zur Modellbewertung, das ein Modell als Richter verwendet Wenn Sie einen Auftrag zur Modellbewertung erstellen möchten, der ein Modell als Richter verwendet, müssen Sie einen Prompt-Datensatz angeben. Dieser Prompt-Datensatz verwendet dasselbe Format wie Aufträge zur automatischen Modellbewertung und wird bei der Inferenz mit den Modellen verwendet, die Sie für die Bewertung auswählen. Wenn Sie Modelle, die nicht von Amazon Bedrock stammen, anhand von Antworten bewerten möchten, die Sie bereits generiert haben, nehmen Sie sie wie unter [Vorbereiten eines Datensatzes für einen Bewertungsauftrag, der Ihre eigenen Inferenzantwortdaten verwendet](#model-evaluation-prompt-datasets-judge-byoir) beschrieben in den Prompt-Datensatz auf. Wenn Sie eigene Inferenzantwortdaten angeben, überspringt Amazon Bedrock den Schritt zum Aufrufen des Modells und führt den Bewertungsauftrag mit den von Ihnen bereitgestellten Daten durch. Benutzerdefinierte Prompt-Datensätze müssen in Amazon S3 gespeichert werden und das JSON-Zeilenformat sowie die `.jsonl`-Dateierweiterung verwenden. Jede Zeile muss ein gültiges JSON-Objekt sein. Ihr Datensatz kann bis zu 1 000 Prompts pro automatischem Bewertungsauftrag enthalten. Für Aufträge, die mit der Konsole erstellt wurden, müssen Sie die Cross Origin Resource Sharing (CORS)-Konfiguration für den S3-Bucket aktualisieren. Verwenden Sie [Erforderliche Cross Origin Resource Sharing (CORS)-Berechtigungen für S3-Buckets](model-evaluation-security-cors.md), um mehr über die für diese Rolle erforderlichen CORS-Berechtigungen zu erfahren. ## Vorbereiten eines Datensatzes für einen Bewertungsauftrag, bei dem Amazon Bedrock Modelle für Sie aufruft Wenn Sie einen Bewertungsauftrag ausführen möchten, bei dem Amazon Bedrock die Modelle für Sie aufruft, erstellen Sie einen Prompt-Datensatz, der die folgenden Schlüssel-Wert-Paare enthält: + `prompt` – Der Prompt, auf den die Modelle antworten sollen + `referenceResponse` – (optional) Die Ground-Truth-Antwort + `category`: (Optional) Generiert Bewertungsergebnisse für die einzelnen Kategorien. **Anmerkung** Wenn Sie sich dafür entscheiden, eine Ground-Truth-Antwort (`referenceResponse)` bereitzustellen, verwendet Amazon Bedrock diesen Parameter bei der Berechnung der Metriken **Vollständigkeit** (`Builtin.Completeness`) und **Korrektheit** (`Builtin.Correctness`). Sie können diese Metriken auch verwenden, ohne eine Ground-Truth-Antwort anzugeben. Die Richter-Prompts für diese beiden Szenarien finden Sie im Abschnitt für das von Ihnen gewählte Judge-Modell unter [Integrierte Prompts zur Bewertung von Metriken für Bewertungsaufträge nach dem Modell als Richter](model-evaluation-type-judge-prompt.md). Im Folgenden finden Sie ein Beispiel für einen benutzerdefinierten Datensatz, der 6 Eingaben enthält und das JSON-Zeilenformat verwendet. ``` {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} ``` Das folgende Beispiel ist ein einzelner Eintrag, der der Übersichtlichkeit halber erweitert wurde. In Ihrem tatsächlichen Prompt-Datensatz muss jede Zeile ein gültiges JSON-Objekt sein. ``` { "prompt": "What is high intensity interval training?", "category": "Fitness", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods." } ``` ## Vorbereiten eines Datensatzes für einen Bewertungsauftrag, der Ihre eigenen Inferenzantwortdaten verwendet Wenn Sie einen Bewertungsauftrag mit Antworten ausführen möchten, die Sie bereits generiert haben, erstellen Sie einen Prompt-Datensatz, der die folgenden Schlüssel-Wert-Paare enthält: + `prompt` – Der Prompt, den Ihre Modelle zur Generierung der Antworten verwendet haben + `referenceResponse` – (optional) Die Ground-Truth-Antwort + `category`: (Optional) Generiert Bewertungsergebnisse für die einzelnen Kategorien. + `modelResponses` – Die Antwort aus Ihrer eigenen Inferenz, die Amazon Bedrock auswerten soll. Bewertungsaufträge, bei denen ein Modell als Richter verwendet wird, unterstützen nur eine Modellantwort für jeden Prompt, die anhand der folgenden Schlüssel definiert wird: + `response` – Eine Zeichenfolge, die die Antwort aus Ihrer Modellinferenz enthält + `modelIdentifier` – Eine Zeichenfolge, die das Modell identifiziert, das die Antworten generiert hat. Sie dürfen nur einen eindeutigen `modelIdentifier` in einem Bewertungsauftrag verwenden. Jeder Prompt in Ihrem Datensatz muss diese ID nutzen. **Anmerkung** Wenn Sie sich dafür entscheiden, eine Ground-Truth-Antwort (`referenceResponse)` bereitzustellen, verwendet Amazon Bedrock diesen Parameter bei der Berechnung der Metriken **Vollständigkeit** (`Builtin.Completeness`) und **Korrektheit** (`Builtin.Correctness`). Sie können diese Metriken auch verwenden, ohne eine Ground-Truth-Antwort anzugeben. Die Richter-Prompts für diese beiden Szenarien finden Sie im Abschnitt für das von Ihnen gewählte Judge-Modell unter [Integrierte Prompts zur Bewertung von Metriken für Bewertungsaufträge nach dem Modell als Richter](model-evaluation-type-judge-prompt.md). Im Folgenden finden Sie ein Beispiel für einen benutzerdefinierten Datensatz, der 6 Eingaben im JSON-Zeilenformat verwendet. ``` {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} ``` Das folgende Beispiel ist ein einzelner Eintrag in einem Prompt-Datensatz, der der Übersichtlichkeit halber erweitert wurde. ``` { "prompt": "What is high intensity interval training?", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods.", "category": "Fitness", "modelResponses": [ { "response": "High intensity interval training (HIIT) is a workout strategy that alternates between short bursts of intense, maximum-effort exercise and brief recovery periods, designed to maximize calorie burn and improve cardiovascular fitness.", "modelIdentifier": "my_model" } ] } ``` # Verwenden von Metriken, um die Leistung des Modells zu verstehen Wenn Sie einen richterbasierten Modellbewertungsauftrag ausführen, verwendet das von Ihnen ausgewählte Evaluatormodell eine Reihe von Metriken, um die Leistung der zu bewertenden Modelle zu charakterisieren. Amazon Bedrock bietet eine Reihe integrierter Metriken, aus denen Sie wählen können. Sie können auch eigene Metriken definieren. In der folgenden Tabelle sind die integrierten Metriken aufgeführt, die in Amazon Bedrock für Bewertungsaufträge verfügbar sind und bei denen ein LLM-as-a-Judge eingesetzt wird. Weitere Informationen über die Verwendung von benutzerdefinierten Metriken finden Sie unter [Erstellen eines Prompts für eine benutzerdefinierte Metrik](model-evaluation-custom-metrics-prompt-formats.md) und[Erstellen eines Auftrags zur Modellbewertung mithilfe benutzerdefinierter Metriken](model-evaluation-custom-metrics-create-job.md). | Metrik | Beschreibung | | --- | --- | | Korrektheit (Builtin.Correctness) | Misst, ob die Antwort des Modells auf den Prompt korrekt ist. Beachten Sie, dass das Evaluatormodell bei der Bewertung der Antwortvariablen berücksichtigt, ob Sie eine Referenzantwort (Ground Truth) als Teil Ihres [Prompt-Datensatzes](model-evaluation-prompt-datasets-judge.md) angeben. | | Vollständigkeit (Builtin.Completeness) | Misst, wie gut die Antwort des Modells auf jede Frage im Prompt eingeht. Beachten Sie, dass das Evaluatormodell bei der Bewertung der Antwortvariablen berücksichtigt, ob Sie eine Referenzantwort (Ground Truth) als Teil Ihres [Prompt-Datensatzes](model-evaluation-prompt-datasets-judge.md) angeben. | | Treue (Builtin.Faithfulness) | Identifiziert, ob die Antwort Informationen enthält, die nicht im Prompt enthalten sind, um zu messen, wie originalgetreu die Antwort dem verfügbaren Kontext entspricht. | | Nützlichkeit (Builtin.Helpfulness) | Misst, wie hilfreich die Antwort des Modells ist. Bei der Bewertung werden unter anderem Faktoren berücksichtigt, ob die Antwort den bereitgestellten Anweisungen folgt, ob sie vernünftig und kohärent ist und ob sie implizite Bedürfnisse und Erwartungen antizipiert. | | Logische Kohärenz (Builtin.Coherence) | Misst die Kohärenz der Antwort, indem logische Lücken, Inkonsistenzen und Widersprüche in der Antwort eines Modells auf einen Prompt identifiziert werden. | | Relevanz (Builtin.Relevance) | Misst, wie relevant die Antwort für den Prompt ist. | | Befolgen von Anweisungen (Builtin.FollowingInstructions) | Misst, wie gut die Antwort des Modells den genauen Anweisungen entspricht, die im Prompt angegeben wurden. | | Professioneller Stil und Umgangston (Builtin.ProfessionalStyleAndTone) | Misst, wie angemessen Stil, Formatierung und Tonfall der Antwort für ein professionelles Umfeld sind. | | Schädlichkeit (Builtin.Harmfulness) | Bewertet, ob die Antwort schädliche Inhalte enthält. | | Stereotypisierung (Builtin.Stereotyping) | Bewertet, ob der Inhalt der Antwort Stereotypen jeglicher Art enthält (entweder positive oder negative). | | Verweigerung (Builtin.Refusal) | Legt fest, ob die Antwort die Beantwortung des Prompts direkt verweigert oder die Anforderung unter Angabe von Gründen ablehnt. | # Integrierte Prompts zur Bewertung von Metriken für Bewertungsaufträge nach dem Modell als Richter Wenn Sie einen Modellbewertungsauftrag auf der Grundlage eines Richters ausführen, bewertet das *Evaluatormodell* die Antworten *des Generatormodells* anhand einer Reihe von Metriken, die Sie definiert haben. Amazon Bedrock bietet eine Reihe integrierter Metriken. Sie können aber auch [benutzerdefinierte Metriken](model-evaluation-custom-metrics-prompt-formats.md) erstellen. In den folgenden Abschnitten finden Sie die Prompts, die von den verfügbaren Evaluatormodellen für die integrierten Amazon-Bedrock-Metriken verwendet werden. **Topics** + [Amazon Nova Pro](model-evaluation-type-judge-prompt-nova.md) + [Anthropic Claude 3.5 Sonnet](model-evaluation-type-judge-prompt-claude-sonnet.md) + [Anthropic Claude 3.5 Sonnet v2](model-evaluation-type-judge-prompt-claude-sonnet35v2.md) + [Anthropic Claude 3.7 Sonnet](model-evaluation-type-judge-prompt-claude-sonnet37.md) + [Anthropic Claude 3 Haiku](model-evaluation-type-judge-prompt-haiku.md) + [Anthropic Claude 3.5 Haiku](model-evaluation-type-judge-prompt-haiku35.md) + [Meta Llama 3.1 70B Instruct](model-evaluation-type-judge-prompt-llama.md) + [Mistral Large](model-evaluation-type-judge-prompt-mistral.md) # Amazon Nova Pro Prompts werden mit Amazon Nova Pro verwendet. ## Logische Kohärenz *Logische Kohärenz* – Sucht nach logischen Lücken, Inkonsistenzen und Widersprüchen in den Antworten eines Modells auf einen Prompt. Die Antworten werden auf einer 5-Punkte-Likert-Skala bewertet und anschließend in der Ausgabe und im Bericht über den Auftrag normalisiert. `{{prompt}}` enthält den Prompt, der von Ihrem Datensatz an den Generator gesendet wurde, und `{{prediction}}` sind die Antworten des Generatormodells. ``` You are a helpful agent that can assess LLM response according to the given rubrics. You are given a question and a response from LLM. Your task is to check if the arguments presented in the response follow logically from one another. When evaluating the logical cohesion of the response, consider the following rubrics: 1. Check for self-contradictions: - Does the response contradict its own previous statements? - If chat history is provided, does the response contradict statements from previous turns without explicitly correcting itself? 2. Identify any logic gaps or errors in reasoning: - Does the response draw false conclusions from the available information? - Does it make "logical leaps" by skipping steps in an argument? - Are there instances where you think, "this does not follow from that" or "these two things cannot be true at the same time"? 3. Evaluate the soundness of the reasoning, not the soundness of the claims: - If the question asks that a question be answered based on a particular set of assumptions, take those assumptions as the basis for argument, even if they are not true. - Evaluate the logical cohesion of the response as if the premises were true. 4. Distinguish between logical cohesion and correctness: - Logical cohesion focuses on how the response arrives at the answer, not whether the answer itself is correct. - A correct answer reached through flawed reasoning should still be penalized for logical cohesion. 5. Relevance of Logical Reasoning: - If the response doesn't require argumentation or inference-making, and simply presents facts without attempting to draw conclusions, it can be considered logically cohesive by default. - In such cases, automatically rate the logical cohesion as 'Yes', as there's no logic gaps. Please rate the logical cohesion of the response based on the following scale: - Not at all: The response contains too many errors of reasoning to be usable, such as contradicting itself, major gaps in reasoning, or failing to present any reasoning where it is required. - Not generally: The response contains a few instances of coherent reasoning, but errors reduce the quality and usability. - Neutral/Mixed: It's unclear whether the reasoning is correct or not, as different users may disagree. The output is neither particularly good nor particularly bad in terms of logical cohesion. - Generally yes: The response contains small issues with reasoning, but the main point is supported and reasonably well-argued. - Yes: There are no issues with logical cohesion at all. The output does not contradict itself, and all reasoning is sound. Here is the actual task: Question: {{prompt}} Response: {{prediction}} The output should be a well-formatted JSON instance that conforms to the JSON schema below. As an example, for the schema {"properties": {"foo": {"title": "Foo", "description": "a list of strings", "type": "array", "items": {"type": "string"}}}, "required": ["foo"]} the object {"foo": ["bar", "baz"]} is a well-formatted instance of the schema. The object {"properties": {"foo": ["bar", "baz"]}} is not well-formatted. Here is the output JSON schema: ``` {"properties": {"reasoning": {"description": "step by step reasoning to derive the final answer", "title": "Reasoning", "type": "string"}, "answer": {"description": "answer should be one of `Not at all`, `Not generally`, `Neutral/Mixed`, `Generally yes`, `Yes`", "enum": ["Not at all", "Not generally", "Neutral/Mixed", "Generally yes", "Yes"], "title": "Answer", "type": "string"}}, "required": ["reasoning", "answer"]} ``` Do not return any preamble or explanations, return only a pure JSON string surrounded by triple backticks (```). ``` ### Zuordnung der Punktzahl + **Überhaupt nicht**: `0.0` + **Nicht generell**: `1.0` + **Neutral/Gemischt**: `2.0` + **Generell ja**: `3.0` + **Ja**: `4.0` ## Treue *Treue* – Prüft, ob die Antwort Informationen enthält, die im Prompt nicht gefunden wurden und die nicht einfach aus dem Prompt abgeleitet werden können. Die Antworten werden auf einer 5-Punkte-Likert-Skala bewertet und anschließend in der Ausgabe und im Bericht über den Auftrag normalisiert. `{{prompt}}` enthält den Prompt, der von Ihrem Datensatz an den Generator gesendet wurde, und `{{prediction}}` sind die Antworten des Generatormodells. ``` You are given a task in some context (Input), and a candidate answer. Is the candidate answer faithful to the task description and context? If the model gives an evasive response without any information, the candidate answer is faithful by default. A response is unfaithful only when (1) it clearly contradicts the context, or (2) the task implies that the response must be based on the context, like in a summarization task. If the task does not ask to respond based on the context, the model is allowed to use its own knowledge to provide a response, even if its claims are not verifiable. Task: {{prompt}} Candidate Response: {{prediction}} Evaluate how much of the information in the answer is faithful to the available context. Label an evasive response as faithful. The output should be formatted as a XML file. 1. Output should conform to the tags below. 2. Remember to always open and close all the tags. 3. Do not invent new tags. As an example, for the tags ["foo", "bar", "baz"]: 1. String ""answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Relevance",
"modelResponseId": "0",
"result": false
}]
}
} | Eine Liste von JSON-Objekten, die Antworten von Mitarbeitern in `answerContent` enthalten. |
| `humanLoopName` | Zeichenfolge | system-generated-hash | Eine systemseitig generierte Hexadezimalzeichenfolge mit 40 Zeichen. |
| inputRecord | JSON-Objekt | "inputRecord": {
"prompt": "What does vitamin C serum do for skin?",
"category": "Skincare",
"referenceResponse": "Vitamin C serum offers a range of benefits for the skin. Firstly, it acts....
} | Ein JSON-Objekt, das eine Eingabeaufforderung aus dem Eingabedatensatz enthält. |
| modelResponses | Liste der JSON-Objekte | "modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:us-west-2::foundation-model/model-id",
"response": "the-models-response-to-the-prompt"
}] | Die einzelnen Antworten der Modelle. |
| inputContent | Objekt | {
"additionalDataS3Uri":"s3://user-specified-S3-URI-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"example instructions"
} | Der Inhalt der Human-Loop-Eingabe, der erforderlich ist, um Human Loop in Ihrem S3-Bucket zu starten. |
| modelResponseIdMap | Objekt | {
"0":"arn:aws:bedrock:us-west-2::foundation-model/model-id"
} | `humanAnswers.answerContent.evaluationResults` enthält `modelResponseId`s. Die `modelResponseIdMap` verbindet die `modelResponseId` mit dem Modellnamen. |
Es folgt ein Beispiel für Ausgabedaten aus einem Auftrag zur Modellbewertung.
```
{
"humanEvaluationResult": [{
"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
"humanAnswers": [{
"acceptanceTime": "2023-11-09T19:17:43.107Z",
"answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Coherence",
"modelResponseId": "0",
"result": false
}, {
"metricName": "Accuracy",
"modelResponseId": "0",
"result": true
}],
"individualLikertScale": [{
"metricName": "Toxicity",
"modelResponseId": "0",
"result": 1
}]
}
},
"submissionTime": "2023-11-09T19:17:52.101Z",
"timeSpentInSeconds": 8.994,
"workerId": "444455556666",
"workerMetadata": {
"identityData": {
"identityProviderType": "Cognito",
"issuer": "https://cognito-idp.AWS-Region.amazonaws.com/AWS-Region_111222",
"sub": "c6aa8eb7-9944-42e9-a6b9-"
}
}
}],
...Additional response have been truncated for clarity...
}],
"humanLoopName": "b3b1c64a2166e001e094123456789012",
"inputContent":{
"additionalDataS3Uri":"s3://user-specified-S3-output-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"some dummy instructions"
},
"modelResponseIdMap":{
"0":"arn:aws:bedrock:AWS-Region::foundation-model/model-id"
}
},
"inputRecord": {
"category": "Fitness",
"prompt": "Human: What is High-Intensity Interval Training ? \\n\\nAssistant:",
"referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods. In HIIT, you perform exercises at near-maximum effort during the high-intensity intervals, which can include activities like sprinting, cycling, jumping, or body weight exercises such as burpees or push-ups. These intense intervals are interspersed with short recovery periods to lower your heart rate before the next high-intensity bout. HIIT workouts usually consist of multiple cycles of these intervals, and the number of cycles and the length of intervals can vary. HIIT is known for its time efficiency, making it an excellent choice for those with busy schedules. It offers both aerobic and anaerobic benefits, improving cardiovascular fitness, burning calories, and promoting fat loss, all while boosting metabolism for continued calorie burning post-workout."
},
"modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:AWS-Region::foundation-model/model-id",
"response": " High-intensity interval training (HIIT) is a form of exercise that involves short bursts of intense activity alternated with recovery periods. Here are some key features of HIIT:\n\n- Alternates short periods of intense anaerobic exercise with less intense recovery periods. The high-intensity periods are typically done at 80-95% of maximum heart rate.\n\n- The duration of the intense periods can range from 5 seconds to 8 minutes, but typically are in the range of 30 seconds to 4 minutes.\n\n- The total HIIT session typically lasts between 10-30 minutes, including warm-up, recovery periods, and cool down. \n\n- Uses exercises like sprints, cycling, rowing, jumping rope, stair climbing, swimming, etc. Movements that get your heart rate up quickly.\n\n- The short, intense intervals help improve cardiovascular fitness by increasing heart rate and oxygen consumption.\n\n- HIIT burns more calories and fat than steady-state cardio in a shorter time period. It also helps build muscle strength and endurance.\n\n- Considered an efficient and effective form of exercise for fat loss and improving aerobic power. But it requires motivation to push yourself during the intense intervals.\n\n- Not suitable for beginners due to the high-intensity. Start with steady-state cardio and build up endurance before trying HIIT.\n\nIn summary, HIIT intersperses intense bursts of"
}]
}
}
```
In der folgenden Tabelle wird erklärt, wie die **Bewertungsmethode**, die Sie für jede Metrik in der Amazon-Bedrock-Konsole ausgewählt haben, in Ihrem Amazon-S3-Bucket zurückgegeben wird. Unter dem ersten untergeordneten Schlüssel `evaluationResults` wird die gewählte **Bewertungsmethode** zurückgegeben.
**Speichern von in der Amazon-Bedrock-Konsole ausgewählten Bewertungsmethoden in Amazon S3**
| Ausgewählte Bewertungsmethode | In Amazon S3 gespeichert |
| --- | --- |
| Likert-Skala – Individuell | IndividualLikertScale |
| Likert-Skala – Vergleich | ComparisonLikertScale |
| Auswahltasten | ComparisonChoice |
| Ordinaler Rang | ComparisonRank |
| Daumen hoch/runter | ThumbsUpDown |
# Datenverwaltung und -verschlüsselung in Amazon-Bedrock-Bewertungsaufträgen
Während der Modellevaluierung erstellt Amazon Bedrock eine temporäre Kopie Ihrer Daten und speichert sie in einem AWS eigenen Amazon S3 S3-Bucket. Amazon Bedrock löscht diese Daten, nachdem der Auftrag abgeschlossen ist. Amazon Bedrock verschlüsselt diese Daten mit einem AWS KMS Schlüssel. Sie können wählen, ob Sie Ihren eigenen AWS KMS Schlüssel angeben oder einen Amazon Bedrock-eigenen Schlüssel zum Verschlüsseln der Daten verwenden möchten.
Wenn Sie einen Modellevaluierungsjob mit dem AWS-Managementkonsole,, oder einem unterstützten AWS SDK erstellen AWS CLI, können Sie wählen, ob Sie einen Amazon Bedrock-eigenen KMS-Schlüssel oder Ihren eigenen kundenverwalteten Schlüssel verwenden möchten. Wenn kein kundenseitig verwalteter Schlüssel angegeben wird, wird standardmäßig ein Schlüssel verwendet, der Amazon Bedrock gehört.
Um einen kundenseitig verwalteten Schlüssel zu verwenden, müssen Sie die erforderlichen IAM-Aktionen und -Ressourcen zu der Richtlinie der IAM-Servicerolle hinzufügen. Sie müssen auch die erforderlichen AWS KMS wichtigen Richtlinienelemente hinzufügen.
**Topics**
+ [Erforderliche wichtige Richtlinienelemente zur Verschlüsselung Ihres Modellevaluierungsauftrags mit AWS KMS](model-evaluation-security-kms.md)
+ [AWS Key Management Service Unterstützung bei Modellevaluierungsjobs](model-evaluation-security-data.md)
+ [Datenverschlüsselung für Aufträge zur Wissensdatenbankbewertung](rag-evaluation-security-data.md)
# Erforderliche wichtige Richtlinienelemente zur Verschlüsselung Ihres Modellevaluierungsauftrags mit AWS KMS
Jeder AWS KMS Schlüssel muss genau eine Schlüsselrichtlinie haben. Die Aussagen in der Schlüsselrichtlinie legen fest, wer berechtigt ist, den AWS KMS Schlüssel zu verwenden, und wie er verwendet werden kann. Sie können auch IAM-Richtlinien und -Berechtigungen verwenden, um den Zugriff auf den AWS KMS Schlüssel zu kontrollieren, aber für jeden AWS KMS Schlüssel muss eine Schlüsselrichtlinie gelten.
**Erforderliche AWS KMS wichtige politische Elemente in Amazon Bedrock**
+ `kms:Decrypt` – Für Dateien, die Sie mit Ihrem AWS Key Management Service -Schlüssel verschlüsselt haben, gewährt Amazon Bedrock Berechtigungen, um auf diese Dateien zuzugreifen und sie zu entschlüsseln.
+ `kms:GenerateDataKey` – Dieses Element steuert die Berechtigung zur Verwendung des AWS Key Management Service -Schlüssels zum Generieren von Datenschlüsseln. Amazon Bedrock verwendet `GenerateDataKey`, um die temporären Daten zu verschlüsseln, die es für den Bewertungsauftrag speichert.
+ `kms:DescribeKey` – Dieses Element stellt detaillierte Informationen zu einem KMS-Schlüssel bereit.
Sie müssen die folgende Erklärung zu Ihrer bestehenden AWS KMS wichtigen Richtlinie hinzufügen. Sie gewährt Amazon Bedrock Berechtigungen, um Ihre Daten vorübergehend in einem Service-Bucket von Amazon Bedrock unter Verwendung des von Ihnen angegebenen AWS KMS zu speichern.
```
{
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*"
}
}
}
```
Das Folgende ist ein Beispiel für eine vollständige AWS KMS Richtlinie.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Id": "key-consolepolicy-3",
"Statement": [
{
"Sid": "EnableIAMUserPermissions",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": "kms:*",
"Resource": "*"
},
{
"Sid": "BedrockDataKeyAndDecrypt",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": "*",
"Condition": {
"ArnLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "BedrockDescribeKey",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "kms:DescribeKey",
"Resource": "*",
"Condition": {
"ArnLike": {
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
}
]
}
```
------
## Einrichtung von KMS-Berechtigungen für Rollen, die die CreateEvaluationJob API aufrufen
Stellen Sie sicher, dass Sie über die Berechtigungen DescribeKey GenerateDataKey, und Decrypt für Ihre Rolle verfügen, mit der Sie den Evaluierungsjob für den KMS-Schlüssel erstellt haben, den Sie in Ihrem Evaluierungsjob verwenden.
Beispiel für eine KMS-Schlüsselrichtlinie
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Beispiel für eine IAM-Richtlinie für die Rollenaufruf-API CreateEvaluationJob
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# AWS Key Management Service Unterstützung bei Modellevaluierungsjobs
Amazon Bedrock verwendet das folgende IAM und die folgenden AWS KMS Berechtigungen, um Ihren AWS KMS Schlüssel zum Entschlüsseln Ihrer Dateien und zum Zugriff darauf zu verwenden. Es speichert diese Dateien an einem internen Amazon-S3-Speicherort, der von Amazon Bedrock verwaltet wird, und verwendet die folgenden Berechtigungen, um sie zu verschlüsseln.
## Anforderungen an die IAM-Richtlinie
Die IAM-Richtlinie, die mit der IAM-Rolle verknüpft ist, die Sie verwenden, um Anforderungen an Amazon Bedrock zu stellen, muss die folgenden Elemente enthalten. Weitere Informationen zur Verwaltung Ihrer AWS KMS -Schlüssel finden Sie unter [Verwenden von IAM-Richtlinien mit AWS Key Management Service](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html).
Modellevaluierungsjobs in Amazon Bedrock verwenden AWS eigene Schlüssel. Diese KMS-Schlüssel gehören Amazon Bedrock. Weitere Informationen zu AWS eigenen Schlüsseln finden Sie unter [AWS Eigene Schlüssel](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk) im *AWS Key Management Service Entwicklerhandbuch*.
**Erforderliche IAM-Richtlinienelemente**
+ `kms:Decrypt`— Für Dateien, die Sie mit Ihrem AWS Key Management Service Schlüssel verschlüsselt haben, gewährt Amazon Bedrock die Erlaubnis, auf diese Dateien zuzugreifen und sie zu entschlüsseln.
+ `kms:GenerateDataKey` – Dieses Element steuert die Berechtigung zur Verwendung des AWS Key Management Service -Schlüssels zum Generieren von Datenschlüsseln. Amazon Bedrock verwendet `GenerateDataKey`, um die temporären Daten zu verschlüsseln, die es für den Bewertungsauftrag speichert.
+ `kms:DescribeKey` – Dieses Element stellt detaillierte Informationen zu einem KMS-Schlüssel bereit.
+ `kms:ViaService`— Der Bedingungsschlüssel beschränkt die Verwendung eines KMS-Schlüssels auf Anfragen von bestimmten AWS Diensten. Sie müssen Amazon S3 als Service angeben, da Amazon Bedrock eine temporäre Kopie Ihrer Daten an einem Amazon-S3-Speicherort ablegt, dessen Eigentümer es ist.
Es folgt ein Beispiel einer IAM-Richtlinie, die nur die erforderlichen AWS KMS -IAM-Aktionen und -Ressourcen enthält.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
}
]
}
```
------
### Einrichtung von KMS-Berechtigungen für Rollen, die die CreateEvaluationJob API aufrufen
Stellen Sie sicher, dass Sie über die Berechtigungen DescribeKey GenerateDataKey, und Decrypt für Ihre Rolle verfügen, mit der Sie den Evaluierungsjob für den KMS-Schlüssel erstellt haben, den Sie in Ihrem Evaluierungsjob verwenden.
Beispiel für eine KMS-Schlüsselrichtlinie
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Beispiel für eine IAM-Richtlinie für die Rollenaufruf-API CreateEvaluationJob
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# Datenverschlüsselung für Aufträge zur Wissensdatenbankbewertung
Während einer Aufgabe zur Bewertung der Wissensdatenbank erstellt Amazon Bedrock eine temporäre Kopie Ihrer Daten. Amazon Bedrock löscht die Daten, nachdem der Auftrag abgeschlossen ist. Zum Verschlüsseln der Daten verwendet Amazon Bedrock einen KMS-Schlüssel. Es nutzt entweder einen von Ihnen angegebenen KMS-Schlüssel oder einen Schlüssel, der Amazon Bedrock besitzt.
Amazon Bedrock benötigt das IAM und die AWS KMS Berechtigungen in den folgenden Abschnitten, damit es Ihren KMS-Schlüssel für folgende Zwecke verwenden kann:
+ Entschlüsseln Sie Ihre Daten.
+ Verschlüsseln Sie die temporäre Kopie, die Amazon Bedrock erstellt.
Wenn Sie einen Bewertungsauftrag für die Wissensdatenbank erstellen, können Sie wählen, ob Sie einen KMS-Schlüssel, der Amazon Bedrock gehört, oder einen eigenen kundenseitig verwalteten Schlüssel nutzen möchten. Wenn Sie keinen kundenseitig verwalteten Schlüssel angeben, verwendet Amazon Bedrock seinen Schlüssel standardmäßig.
Bevor Sie einen kundenseitig verwalteten Schlüssel verwenden können, müssen Sie die folgenden Schritte ausführen:
+ Fügen Sie die erforderlichen IAM-Aktionen und -Ressourcen zu der Richtlinie der IAM-Servicerolle hinzu.
+ Fügen Sie die erforderlichen Elemente der KMS-Schlüsselrichtlinie hinzu.
+ Erstellen Sie eine Richtlinie, die mit Ihrem kundenseitig verwalteten Schlüssel interagieren kann. Dies ist in einer separaten KMS-Schlüsselrichtlinie festgelegt.
## Erforderliche Richtlinienelemente
Die IAM- und KMS-Schlüsselrichtlinien in den folgenden Abschnitten enthalten die folgenden erforderlichen Elemente:
+ `kms:Decrypt` – Für Dateien, die Sie mit Ihrem KMS-Schlüssel verschlüsselt haben, gewährt Amazon Bedrock Berechtigungen, um auf diese Dateien zuzugreifen und sie zu entschlüsseln.
+ `kms:GenerateDataKey` – Dieses Element steuert die Berechtigung zur Verwendung des KMS-Schlüssels zum Generieren von Datenschlüsseln. Amazon Bedrock verwendet `GenerateDataKey`, um die temporären Daten zu verschlüsseln, die es für den Bewertungsauftrag speichert.
+ `kms:DescribeKey` – Dieses Element stellt detaillierte Informationen zu einem KMS-Schlüssel bereit.
+ `kms:ViaService`— Der Bedingungsschlüssel schränkt die Verwendung eines KMS-Schlüssels für Anfragen von bestimmten AWS Diensten ein. Sie müssen die folgenden Services angeben:
+ Geben Sie Amazon S3 als Service an, da Amazon Bedrock eine temporäre Kopie Ihrer Daten an einem Amazon-S3-Speicherort ablegt, dessen Eigentümer es ist.
+ Geben Sie Amazon Bedrock an, weil der Bewertungsservice die API für Wissensdatenbanken für Amazon Bedrock aufruft, um den Wissensdatenbank-Workflow auszuführen.
+ `kms:EncryptionContext:context-key`— Dieser Bedingungsschlüssel beschränkt den Zugriff auf die AWS KMS Operationen, sodass sie nur für den bereitgestellten [Verschlüsselungskontext](https://docs.aws.amazon.com/kms/latest/developerguide/encrypt_context.html) spezifisch sind.
## Anforderungen an die IAM-Richtlinie
In der IAM-Rolle, die Sie mit Amazon Bedrock verwenden, muss die zugehörige IAM-Richtlinie die folgenden Elemente enthalten. Weitere Informationen zur Verwaltung Ihrer AWS KMS Schlüssel finden Sie unter [Verwenden von IAM-Richtlinien mit AWS KMS](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html).
Bewertungsaufträge für Wissensdatenbanken in Amazon Bedrock verwenden AWS eigene Schlüssel. Weitere Informationen zu AWS eigenen Schlüsseln finden Sie unter [AWS Eigene Schlüssel](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk) im *AWS Key Management Service Entwicklerhandbuch*.
Es folgt ein Beispiel einer IAM-Richtlinie, die nur die erforderlichen AWS KMS -Aktionen und -Ressourcen enthält.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringEquals": {
"kms:ViaService": [
"s3.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockEvalKMS",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBDecryption",
"Effect": "Allow",
"Action": [
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBGenerateDataKey",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:CustomerAwsAccountId": "123456789012",
"kms:EncryptionContext:SessionId": "*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
]
}
]
}
```
------
## AWS KMS wichtige politische Anforderungen
Jeder KMS-Schlüssel muss über genau eine Schlüsselrichtlinie verfügen. Die Anweisungen im Schlüsselrichtliniendokument legen fest, wer über eine Berechtigung zur Verwendung des KMS-Schlüssels verfügt, und wie diese Verwendung erfolgen kann. Sie können den Zugriff auf die KMS-Schlüssel auch mithilfe von IAM-Richtlinien und Erteilungen steuern, jeder KMS-Schlüssel muss jedoch über eine Schlüsselrichtlinie verfügen.
Sie müssen Ihrer vorhandenen KMS-Schlüsselrichtlinie die folgende Anweisung hinzufügen. Sie gewährt Amazon Bedrock Berechtigungen, um Ihre Daten vorübergehend in einem S3-Bucket unter Verwendung des von Ihnen angegebenen KMS-Schlüssels zu speichern.
### Einrichtung von KMS-Berechtigungen für Rollen, die die CreateEvaluationJob API aufrufen
Stellen Sie sicher, dass Sie über die Berechtigungen DescribeKey GenerateDataKey, und Decrypt für Ihre Rolle verfügen, mit der Sie den Evaluierungsjob für den KMS-Schlüssel erstellt haben, den Sie in Ihrem Evaluierungsjob verwenden.
Beispiel für eine KMS-Schlüsselrichtlinie
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Beispiel für eine IAM-Richtlinie für die Rollenaufruf-API CreateEvaluationJob
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# CloudTrail Managementereignisse bei Modellevaluierungsjobs
[Managementereignisse](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/logging-management-events-with-cloudtrail.html#logging-management-events) liefern Informationen über die Ressourcenoperationen, die auf oder in einer Ressource ausgeführt werden (z. B. Lesen oder Schreiben in ein Amazon-S3-Objekt). Sie werden auch als Vorgänge auf Datenebene bezeichnet. Datenereignisse sind häufig umfangreiche Aktivitäten, die standardmäßig CloudTrail nicht protokolliert werden.
Jobs zur Modellauswertung protokollieren Ereignisse für mehrere Dienste AWS
**CloudTrail Datenereignisse nach AWS Diensten in Modellevaluierungsaufträgen**
+ **Amazon Bedrock**: Datenereignisse für alle Modellinferenzen werden während der Modellbewertung ausgeführt.
+ **Amazon SageMaker AI**: Datenereignisse für alle Aufgaben zur Bewertung von Modellen am Menschen.
+ **Amazon S3**: Datenereignisse zum Lesen und Schreiben von Daten in den Amazon-S3-Bucket, die bei der Erstellung des Modellbewertungsaufträgen angegeben wurden.
+ **AWS Key Management Service**: Datenereignisse im Zusammenhang mit der Verwendung von vom Kunden verwalteten Schlüsseln AWS KMS .