Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Debe añadir los datos de inferencia por lotes a una ubicación de S3 que elija o especifique al enviar un trabajo de invocación de modelos. La ubicación de S3 debe contener los siguientes elementos:
-
Al menos un archivo JSONL que defina las entradas del modelo. Un JSONL contiene filas de objetos JSON. El archivo JSONL debe terminar con la extensión .jsonl y tener el siguiente formato:
{ "recordId" : "11 character alphanumeric string", "modelInput" :{JSON body}} ...Cada línea contiene un objeto JSON con un campo
recordIdy un campomodelInputque contiene el cuerpo de la solicitud de la entrada que desee enviar. El formato del objeto JSONmodelInputdebe coincidir con el campobodydel modelo que utilice en la solicitudInvokeModel. Para obtener más información, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.nota
-
Si omite el campo
recordId, Amazon Bedrock lo agregará al resultado. -
Al crear el trabajo de inferencia por lotes, debe especificar el modelo que desea utilizar.
-
-
(Si define el contenido de entrada como una ubicación de Amazon S3) Algunos modelos le permiten definir el contenido de la entrada como una ubicación de S3. Si elige esta opción, asegúrese de que la ubicación de S3 que especificará contenga tanto su contenido como sus archivos JSONL. El contenido y los archivos JSONL se pueden anidar en carpetas en la ubicación de S3 que especifique. Para ver un ejemplo, consulta Ejemplo de entrada de vídeo para Amazon Nova.
Asegúrese de que las entradas se ajusten a las cuotas de inferencia por lotes. Puedes buscar las siguientes cuotas en Amazon Bedrock Service Quotas:
-
Número mínimo de registros por trabajo de inferencia por lotes: el número mínimo de registros (objetos JSON) en los archivos JSONL del trabajo.
-
Registros por archivo de entrada por trabajo de inferencia por lotes: el número máximo de registros (objetos JSON) en un solo archivo JSONL del trabajo.
-
Registros por trabajo de inferencia por lotes: el número máximo de registros (objetos JSON) en los archivos JSONL del trabajo.
-
Tamaño del archivo de entrada de inferencia por lotes: el tamaño máximo de un solo archivo en el trabajo.
-
Tamaño del trabajo de inferencia por lotes: el tamaño máximo acumulado de todos los archivos de entrada.
Para entender mejor cómo configurar las entradas de inferencia por lotes, consulte los siguientes ejemplos:
Ejemplo de entrada de texto para Anthropic Claude 3 Haiku
Si planea ejecutar una inferencia por lotes utilizando el formato de la API de mensajes para Anthropic Claude 3 Haiku modelo, puedes proporcionar un archivo JSONL que contenga el siguiente objeto JSON como una de las líneas:
{
"recordId": "CALL0000001",
"modelInput": {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Summarize the following call transcript: ..."
}
]
}
]
}
}Ejemplo de entrada de vídeo para Amazon Nova
Si planea realizar una inferencia por lotes en entradas de vídeo mediante el Amazon Nova Lite o Amazon Nova Pro modelos, tiene la opción de definir el vídeo en bytes o como una ubicación S3 en el archivo JSONL. Por ejemplo, es posible que tenga un bucket de S3 cuya ruta sea s3://batch-inference-input-bucket y contenga los siguientes archivos:
videos/ video1.mp4 video2.mp4 ... video50.mp4 input.jsonl
Un ejemplo de registro del input.jsonl archivo sería el siguiente:
{
"recordId": "RECORD01",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
},
{
"video": {
"format": "mp4",
"source": {
"s3Location": {
"uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
"bucketOwner": "111122223333"
}
}
}
}
]
}
]
}
}Al crear el trabajo de inferencia por lotes, puede especificarlo s3://batch-inference-input-bucket como ubicación S3. La inferencia por lotes procesará el input.jsonl archivo de la ubicación, además de los archivos de vídeo de la videos carpeta a los que se hace referencia en el archivo JSONL.
Los siguientes recursos proporcionan más información sobre el envío de entradas de vídeo para la inferencia por lotes:
-
Para obtener información sobre cómo validar de forma proactiva Amazon S3 URIs en una solicitud de entrada, consulte el blog de análisis de URL de Amazon S3
. -
Para obtener más información sobre cómo configurar los registros de invocación para la comprensión del vídeo con Nova, consulte Amazon Nova pautas para la estimulación visual.
En el siguiente tema se describe cómo configurar los permisos de acceso a S3 y de inferencia por lotes para que una identidad pueda llevar a cabo la inferencia por lotes.
