Creación de un trabajo de inferencia por lotes - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Creación de un trabajo de inferencia por lotes

nota

La inferencia por lotes está en versión de vista previa y sujeta a cambios. Actualmente, la inferencia por lotes solo está disponible a través deAPI. Acceda al lote APIs a través de lo siguienteSDKs.

Le recomendamos que cree un entorno virtual para utilizarSDK. Como la inferencia por lotes APIs no está disponible en la versión más recienteSDKs, le recomendamos que desinstale la última versión SDK del entorno virtual antes de instalar la versión con la inferencia APIs por lotes. Para ver un ejemplo guiado, consulte. Ejemplos de código

Request format
POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}
Response format
HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

Para crear un trabajo de inferencia por lotes, envíe una solicitud CreateModelInvocationJob. Proporcione la siguiente información.

  • El ARN de un rol con permisos para ejecutar inferencias por lotes. roleArn

  • Información para el depósito de S3 que contiene los JSONL archivos de entrada inputDataConfig y el depósito en el que se debe escribir la información. outputDataConfig

  • El ID del modelo que se utilizará para la inferencia en modelId (consulte Modelo base de Amazon Bedrock IDs (rendimiento bajo demanda) ).

  • Un nombre para el trabajo en jobName.

  • (Opcional) Cualquier etiqueta que desee asociar al trabajo en tags.

La respuesta devuelve un valor jobArn que puede utilizar para otras llamadas relacionadas con la inferencia de API lotes.

Puede comprobar el estado status del trabajo con la tecla o. GetModelInvocationJob ListModelInvocationJobs APIs

Cuando el trabajo esté Completed, puede extraer los resultados del trabajo de inferencia por lotes de los archivos del bucket de S3 que especificó en la solicitud de la outputDataConfig. El bucket de S3 especificado contendrá los siguientes archivos:

  1. Archivos de salida que contienen el resultado de la inferencia del modelo.

    • Si el resultado es texto, Amazon Bedrock genera un JSONL archivo de salida para cada JSONL archivo de entrada. Los archivos de salida contienen los resultados del modelo para cada entrada en el siguiente formato. Un objeto error reemplaza el campo modelOutput en cualquier línea en la que haya habido un error de inferencia. El formato del modelOutput JSON objeto coincide con el body campo del modelo que se utiliza en la InvokeModel respuesta. Para obtener más información, consulte Parámetros de inferencia para modelos fundacionales.

      { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

      El ejemplo siguiente muestra un posible archivo de salida.

      { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

    • Si el resultado es una imagen, Amazon Bedrock genera un archivo para cada imagen.

  2. Un archivo manifest.json.out que contiene un resumen del trabajo de inferencia por lotes.

    {
    "processedRecordCount" : number,
    "successRecordCount": number,
    "errorRecordCount": number,
    "inputTextTokenCount": number, // For embedding/text to text models
    "outputTextTokenCount" : number, // For text to text models 
    "outputImgCount512x512pStep50": number, // For text to image models 
    "outputImgCount512x512pStep150" : number, // For text to image models 
    "outputImgCount512x896pStep50" : number, // For text to image models 
    "outputImgCount512x896pStep150" : number // For text to image models 
}