Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Creazione di un processo di inferenza in batch
Nota
L'inferenza in batch è disponibile nella versione di anteprima ed è soggetta a modifiche. L'inferenza in batch è attualmente disponibile solo tramite. API Accedi al batch APIs tramite quanto segueSDKs.
Si consiglia di creare un ambiente virtuale per utilizzareSDK. Poiché l'inferenza in batch APIs non è disponibile nella versione più recenteSDKs, si consiglia di disinstallare la versione più recente di SDK dall'ambiente virtuale prima di installare la versione con l'inferenza APIs in batch. Per un esempio guidato, vedi. Esempi di codice
Per creare un processo di inferenza in batch, invia una richiesta CreateModelInvocationJob
. Inserisci le informazioni che seguono.
-
ARNDi un ruolo con i permessi per eseguire l'inferenza in batch.
roleArn
-
Informazioni per il bucket S3 contenente JSONL i file di input
inputDataConfig
e il bucket in cui scrivere le informazioni.outputDataConfig
-
L'ID del modello da utilizzare per l'inferenza in
modelId
(consulta Modello base Amazon Bedrock IDs (throughput su richiesta) ). -
Un nome per il processo in
jobName
. -
(Facoltativo) Qualsiasi tag da allegare al processo in
tags
.
La risposta restituisce un messaggio jobArn
che può essere utilizzato per altre chiamate relative all'inferenza in batch. API
È possibile controllare lo stato status
del lavoro con o. GetModelInvocationJob
ListModelInvocationJobs
APIs
Quando il processo è Completed
, puoi estrarre i risultati del processo di inferenza in batch dai file nel bucket S3 che hai specificato nella richiesta di outputDataConfig
. Il bucket S3 contiene i seguenti file:
-
File di output in cui è riportato il risultato dell'inferenza del modello.
-
Se l'output è testo, Amazon Bedrock genera un JSONL file di output per ogni JSONL file di input. I file di output contengono gli output del modello per ogni input nel seguente formato. Un oggetto
error
sostituisce il campomodelOutput
in qualsiasi riga in cui si è verificato un errore di inferenza. Il formato dell'modelOutput
JSONoggetto corrisponde albody
campo del modello utilizzato nellaInvokeModel
risposta. Per ulteriori informazioni, consulta Parametri di inferenza per modelli di fondazione.{ "recordId" : "
11 character alphanumeric string
", "modelInput":{JSON body}
, "modelOutput":{JSON body}
}Il seguente esempio di output mostra un possibile file di output.
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
-
Se l'output è un'immagine, Amazon Bedrock genera un file per ogni immagine.
-
-
Un file
manifest.json.out
contenente un riepilogo del processo di inferenza in batch.{ "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTextTokenCount": number, // For embedding/text to text models "outputTextTokenCount" : number, // For text to text models "outputImgCount512x512pStep50": number, // For text to image models "outputImgCount512x512pStep150" : number, // For text to image models "outputImgCount512x896pStep50" : number, // For text to image models "outputImgCount512x896pStep150" : number // For text to image models }