Procesamiento de múltiples peticiones con la inferencia por lotes - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Procesamiento de múltiples peticiones con la inferencia por lotes

La inferencia por lotes le permite enviar varias peticiones y generar respuestas de forma asíncrona. La inferencia por lotes le ayuda a procesar una gran cantidad de solicitudes de manera eficiente al enviar una sola solicitud y generar las respuestas en un bucket de Amazon S3. Una vez definidas las entradas del modelo en los archivos que cree, los archivos se cargan a un bucket de S3. A continuación, envía una solicitud de inferencia por lotes y especifica el bucket de S3. Una vez finalizado el trabajo, podrá recuperar los archivos de salida de S3. Puede utilizar la inferencia por lotes para mejorar el rendimiento de la inferencia de modelos en conjuntos de datos de gran tamaño.

nota

Los modelos aprovisionados no admiten la inferencia por lotes.

Consulte los siguientes recursos para obtener información general sobre la inferencia por lotes: