Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Creación de un trabajo de inferencia por lotes
nota
La inferencia por lotes está en versión de vista previa y sujeta a cambios. Actualmente, la inferencia por lotes solo está disponible a través deAPI. Acceda al lote APIs a través de lo siguienteSDKs.
Le recomendamos que cree un entorno virtual para utilizarSDK. Como la inferencia por lotes APIs no está disponible en la versión más recienteSDKs, le recomendamos que desinstale la última versión SDK del entorno virtual antes de instalar la versión con la inferencia APIs por lotes. Para ver un ejemplo guiado, consulte. Ejemplos de código
Para crear un trabajo de inferencia por lotes, envíe una solicitud CreateModelInvocationJob
. Proporcione la siguiente información.
-
El ARN de un rol con permisos para ejecutar inferencias por lotes.
roleArn
-
Información para el depósito de S3 que contiene los JSONL archivos de entrada
inputDataConfig
y el depósito en el que se debe escribir la información.outputDataConfig
-
El ID del modelo que se utilizará para la inferencia en
modelId
(consulte Modelo base de Amazon Bedrock IDs (rendimiento bajo demanda) ). -
Un nombre para el trabajo en
jobName
. -
(Opcional) Cualquier etiqueta que desee asociar al trabajo en
tags
.
La respuesta devuelve un valor jobArn
que puede utilizar para otras llamadas relacionadas con la inferencia de API lotes.
Puede comprobar el estado status
del trabajo con la tecla o. GetModelInvocationJob
ListModelInvocationJobs
APIs
Cuando el trabajo esté Completed
, puede extraer los resultados del trabajo de inferencia por lotes de los archivos del bucket de S3 que especificó en la solicitud de la outputDataConfig
. El bucket de S3 especificado contendrá los siguientes archivos:
-
Archivos de salida que contienen el resultado de la inferencia del modelo.
-
Si el resultado es texto, Amazon Bedrock genera un JSONL archivo de salida para cada JSONL archivo de entrada. Los archivos de salida contienen los resultados del modelo para cada entrada en el siguiente formato. Un objeto
error
reemplaza el campomodelOutput
en cualquier línea en la que haya habido un error de inferencia. El formato delmodelOutput
JSON objeto coincide con elbody
campo del modelo que se utiliza en laInvokeModel
respuesta. Para obtener más información, consulte Parámetros de inferencia para modelos fundacionales.{ "recordId" : "
11 character alphanumeric string
", "modelInput":{JSON body}
, "modelOutput":{JSON body}
}El ejemplo siguiente muestra un posible archivo de salida.
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
-
Si el resultado es una imagen, Amazon Bedrock genera un archivo para cada imagen.
-
-
Un archivo
manifest.json.out
que contiene un resumen del trabajo de inferencia por lotes.{ "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTextTokenCount": number, // For embedding/text to text models "outputTextTokenCount" : number, // For text to text models "outputImgCount512x512pStep50": number, // For text to image models "outputImgCount512x512pStep150" : number, // For text to image models "outputImgCount512x896pStep50" : number, // For text to image models "outputImgCount512x896pStep150" : number // For text to image models }