Erstellen eines Batch-Inferenzauftrags - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen eines Batch-Inferenzauftrags

Anmerkung

Bei der Batch-Inferenz handelt es sich um eine Vorversion, die Änderungen unterliegt. Batch-Inferenz ist derzeit nur über die API verfügbar. Greifen Sie wie folgt APIs SDKs auf Batch zu.

Wir empfehlen, dass Sie eine virtuelle Umgebung erstellen, um die zu verwendenSDK. Da Batch-Inferenz in der aktuellen Version APIs nicht verfügbar istSDKs, empfehlen wir, die neueste Version von SDK aus der virtuellen Umgebung zu deinstallieren, bevor Sie die Version mit der APIs Batch-Inferenz installieren. Ein Beispiel mit Anleitungen finden Sie unter. Codebeispiele

Request format
POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}
Response format
HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

Senden Sie eine CreateModelInvocationJob-Anforderung, um einen Batch-Inferenzauftrag zu erstellen. Geben Sie die folgenden Informationen ein:

  • Die ARN einer Rolle mit Berechtigungen zum Ausführen von Batch-Inferenzen. roleArn

  • Informationen für den S3-Bucket, der die JSONL Eingabedateien enthält, inputDataConfig und den Bucket, in den Informationen geschrieben werden sollen. outputDataConfig

  • Die ID des Modells, das zur Inferenz in modelId verwendet werden soll (siehe Amazon Bedrock-Basismodell IDs (Durchsatz auf Abruf) ).

  • Ein Name für die Auftrag in jobName.

  • (Optional) Alle Tags, die Sie an den Auftrag in tags anfügen möchten.

Die Antwort gibt a zurückjobArn, das Sie für andere Aufrufe im Zusammenhang mit Batch-Inferenzen API verwenden können.

Sie können die Ausführung status des Jobs entweder mit dem GetModelInvocationJob oder überprüfen. ListModelInvocationJobs APIs

Wenn der Auftrag Completed ist, können Sie die Ergebnisse des Batch-Inferenzauftrags aus den Dateien im S3-Bucket extrahieren, den Sie in der Anforderung für die outputDataConfig angegeben haben. Das S3-Bucket enthält die folgenden Dateien:

  1. Ausgabedateien, die das Ergebnis der Modellinferenz enthalten.

    • Wenn es sich bei der Ausgabe um Text handelt, generiert Amazon Bedrock für jede JSONL Eingabedatei eine JSONL Ausgabedatei. Die Ausgabedateien enthalten Ausgaben des Modells für jede Eingabe im folgenden Format. Ein error-Objekt ersetzt das Feld modelOutput in jeder Zeile, in der ein Inferenzfehler aufgetreten ist. Das Format des modelOutput JSON Objekts entspricht dem body Feld für das Modell, das Sie in der InvokeModel Antwort verwenden. Weitere Informationen finden Sie unter Inferenzparameter für Basismodelle.

      { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

      Das folgende Beispiel zeigt eine mögliche Ausgabedatei.

      { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

    • Wenn es sich bei der Ausgabe um ein Bild handelt, generiert Amazon Bedrock für jedes Bild eine Datei.

  2. Eine manifest.json.out-Datei, die eine Zusammenfassung des Batch-Inferenzauftrags enthält.

    {
    "processedRecordCount" : number,
    "successRecordCount": number,
    "errorRecordCount": number,
    "inputTextTokenCount": number, // For embedding/text to text models
    "outputTextTokenCount" : number, // For text to text models 
    "outputImgCount512x512pStep50": number, // For text to image models 
    "outputImgCount512x512pStep150" : number, // For text to image models 
    "outputImgCount512x896pStep50" : number, // For text to image models 
    "outputImgCount512x896pStep150" : number // For text to image models 
}