Formateo y carga de los datos de la inferencia por lotes - Amazon Bedrock
Ejemplo de entrada de texto para Anthropic Claude 3 HaikuEjemplo de entrada de vídeo para Amazon Nova

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Formateo y carga de los datos de la inferencia por lotes

Debe añadir los datos de inferencia por lotes a una ubicación de S3 que elija o especifique al enviar un trabajo de invocación de modelos. La ubicación de S3 debe contener los siguientes elementos:

  • Al menos un archivo JSONL que defina las entradas del modelo. Un JSONL contiene filas de objetos JSON. El archivo JSONL debe terminar con la extensión .jsonl y tener el siguiente formato:

    { "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

    Cada línea contiene un objeto JSON con un campo recordId y un campo modelInput que contiene el cuerpo de la solicitud de la entrada que desee enviar. El formato del objeto JSON modelInput debe coincidir con el campo body del modelo que utilice en la solicitud InvokeModel. Para obtener más información, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

    nota

  • (Si define el contenido de entrada como una ubicación de Amazon S3) Algunos modelos le permiten definir el contenido de la entrada como una ubicación de S3. Si elige esta opción, asegúrese de que la ubicación de S3 que especificará contenga tanto su contenido como sus archivos JSONL. El contenido y los archivos JSONL se pueden anidar en carpetas en la ubicación de S3 que especifique. Para ver un ejemplo, consulta Ejemplo de entrada de vídeo para Amazon Nova.

Asegúrese de que las entradas se ajusten a las cuotas de inferencia por lotes. Puedes buscar las siguientes cuotas en Amazon Bedrock Service Quotas:

  • Número mínimo de registros por trabajo de inferencia por lotes: el número mínimo de registros (objetos JSON) en los archivos JSONL del trabajo.

  • Registros por archivo de entrada por trabajo de inferencia por lotes: el número máximo de registros (objetos JSON) en un solo archivo JSONL del trabajo.

  • Registros por trabajo de inferencia por lotes: el número máximo de registros (objetos JSON) en los archivos JSONL del trabajo.

  • Tamaño del archivo de entrada de inferencia por lotes: el tamaño máximo de un solo archivo en el trabajo.

  • Tamaño del trabajo de inferencia por lotes: el tamaño máximo acumulado de todos los archivos de entrada.

Para entender mejor cómo configurar las entradas de inferencia por lotes, consulte los siguientes ejemplos:

Ejemplo de entrada de texto para Anthropic Claude 3 Haiku

Si planea ejecutar una inferencia por lotes utilizando el formato de la API de mensajes para Anthropic Claude 3 Haiku modelo, puedes proporcionar un archivo JSONL que contenga el siguiente objeto JSON como una de las líneas:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Ejemplo de entrada de vídeo para Amazon Nova

Si planea realizar una inferencia por lotes en entradas de vídeo mediante el Amazon Nova Lite o Amazon Nova Pro modelos, tiene la opción de definir el vídeo en bytes o como una ubicación S3 en el archivo JSONL. Por ejemplo, es posible que tenga un bucket de S3 cuya ruta sea s3://batch-inference-input-bucket y contenga los siguientes archivos:

videos/
    video1.mp4
    video2.mp4
    ...
    video50.mp4
input.jsonl

Un ejemplo de registro del input.jsonl archivo sería el siguiente:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Al crear el trabajo de inferencia por lotes, puede especificarlo s3://batch-inference-input-bucket como ubicación S3. La inferencia por lotes procesará el input.jsonl archivo de la ubicación, además de los archivos de vídeo de la videos carpeta a los que se hace referencia en el archivo JSONL.

Los siguientes recursos proporcionan más información sobre el envío de entradas de vídeo para la inferencia por lotes:

En el siguiente tema se describe cómo configurar los permisos de acceso a S3 y de inferencia por lotes para que una identidad pueda llevar a cabo la inferencia por lotes.