Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erstellen eines Batch-Inferenzauftrags
Anmerkung
Bei der Batch-Inferenz handelt es sich um eine Vorversion, die Änderungen unterliegt. Batch-Inferenz ist derzeit nur über die API verfügbar. Greifen Sie wie folgt APIs SDKs auf Batch zu.
Wir empfehlen, dass Sie eine virtuelle Umgebung erstellen, um die zu verwendenSDK. Da Batch-Inferenz in der aktuellen Version APIs nicht verfügbar istSDKs, empfehlen wir, die neueste Version von SDK aus der virtuellen Umgebung zu deinstallieren, bevor Sie die Version mit der APIs Batch-Inferenz installieren. Ein Beispiel mit Anleitungen finden Sie unter. Codebeispiele
Senden Sie eine CreateModelInvocationJob
-Anforderung, um einen Batch-Inferenzauftrag zu erstellen. Geben Sie die folgenden Informationen ein:
-
Die ARN einer Rolle mit Berechtigungen zum Ausführen von Batch-Inferenzen.
roleArn
-
Informationen für den S3-Bucket, der die JSONL Eingabedateien enthält,
inputDataConfig
und den Bucket, in den Informationen geschrieben werden sollen.outputDataConfig
-
Die ID des Modells, das zur Inferenz in
modelId
verwendet werden soll (siehe Amazon Bedrock-Basismodell IDs (Durchsatz auf Abruf) ). -
Ein Name für die Auftrag in
jobName
. -
(Optional) Alle Tags, die Sie an den Auftrag in
tags
anfügen möchten.
Die Antwort gibt a zurückjobArn
, das Sie für andere Aufrufe im Zusammenhang mit Batch-Inferenzen API verwenden können.
Sie können die Ausführung status
des Jobs entweder mit dem GetModelInvocationJob
oder überprüfen. ListModelInvocationJobs
APIs
Wenn der Auftrag Completed
ist, können Sie die Ergebnisse des Batch-Inferenzauftrags aus den Dateien im S3-Bucket extrahieren, den Sie in der Anforderung für die outputDataConfig
angegeben haben. Das S3-Bucket enthält die folgenden Dateien:
-
Ausgabedateien, die das Ergebnis der Modellinferenz enthalten.
-
Wenn es sich bei der Ausgabe um Text handelt, generiert Amazon Bedrock für jede JSONL Eingabedatei eine JSONL Ausgabedatei. Die Ausgabedateien enthalten Ausgaben des Modells für jede Eingabe im folgenden Format. Ein
error
-Objekt ersetzt das FeldmodelOutput
in jeder Zeile, in der ein Inferenzfehler aufgetreten ist. Das Format desmodelOutput
JSON Objekts entspricht dembody
Feld für das Modell, das Sie in derInvokeModel
Antwort verwenden. Weitere Informationen finden Sie unter Inferenzparameter für Basismodelle.{ "recordId" : "
11 character alphanumeric string
", "modelInput":{JSON body}
, "modelOutput":{JSON body}
}Das folgende Beispiel zeigt eine mögliche Ausgabedatei.
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
-
Wenn es sich bei der Ausgabe um ein Bild handelt, generiert Amazon Bedrock für jedes Bild eine Datei.
-
-
Eine
manifest.json.out
-Datei, die eine Zusammenfassung des Batch-Inferenzauftrags enthält.{ "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTextTokenCount": number, // For embedding/text to text models "outputTextTokenCount" : number, // For text to text models "outputImgCount512x512pStep50": number, // For text to image models "outputImgCount512x512pStep150" : number, // For text to image models "outputImgCount512x896pStep50" : number, // For text to image models "outputImgCount512x896pStep150" : number // For text to image models }