Creazione di un processo di inferenza in batch - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un processo di inferenza in batch

Nota

L'inferenza in batch è disponibile nella versione di anteprima ed è soggetta a modifiche. L'inferenza in batch è attualmente disponibile solo tramite. API Accedi al batch APIs tramite quanto segueSDKs.

Si consiglia di creare un ambiente virtuale per utilizzareSDK. Poiché l'inferenza in batch APIs non è disponibile nella versione più recenteSDKs, si consiglia di disinstallare la versione più recente di SDK dall'ambiente virtuale prima di installare la versione con l'inferenza APIs in batch. Per un esempio guidato, vedi. Esempi di codice

Request format
POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}
Response format
HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

Per creare un processo di inferenza in batch, invia una richiesta CreateModelInvocationJob. Inserisci le informazioni che seguono.

  • ARNDi un ruolo con i permessi per eseguire l'inferenza in batch. roleArn

  • Informazioni per il bucket S3 contenente JSONL i file di input inputDataConfig e il bucket in cui scrivere le informazioni. outputDataConfig

  • L'ID del modello da utilizzare per l'inferenza in modelId (consulta Modello base Amazon Bedrock IDs (throughput su richiesta) ).

  • Un nome per il processo in jobName.

  • (Facoltativo) Qualsiasi tag da allegare al processo in tags.

La risposta restituisce un messaggio jobArn che può essere utilizzato per altre chiamate relative all'inferenza in batch. API

È possibile controllare lo stato status del lavoro con o. GetModelInvocationJob ListModelInvocationJobs APIs

Quando il processo è Completed, puoi estrarre i risultati del processo di inferenza in batch dai file nel bucket S3 che hai specificato nella richiesta di outputDataConfig. Il bucket S3 contiene i seguenti file:

  1. File di output in cui è riportato il risultato dell'inferenza del modello.

    • Se l'output è testo, Amazon Bedrock genera un JSONL file di output per ogni JSONL file di input. I file di output contengono gli output del modello per ogni input nel seguente formato. Un oggetto error sostituisce il campo modelOutput in qualsiasi riga in cui si è verificato un errore di inferenza. Il formato dell'modelOutputJSONoggetto corrisponde al body campo del modello utilizzato nella InvokeModel risposta. Per ulteriori informazioni, consulta Parametri di inferenza per modelli di fondazione.

      { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

      Il seguente esempio di output mostra un possibile file di output.

      { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

    • Se l'output è un'immagine, Amazon Bedrock genera un file per ogni immagine.

  2. Un file manifest.json.out contenente un riepilogo del processo di inferenza in batch.

    {
    "processedRecordCount" : number,
    "successRecordCount": number,
    "errorRecordCount": number,
    "inputTextTokenCount": number, // For embedding/text to text models
    "outputTextTokenCount" : number, // For text to text models 
    "outputImgCount512x512pStep50": number, // For text to image models 
    "outputImgCount512x512pStep150" : number, // For text to image models 
    "outputImgCount512x896pStep50" : number, // For text to image models 
    "outputImgCount512x896pStep150" : number // For text to image models 
}