Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Procesamiento de múltiples peticiones con la inferencia por lotes
La inferencia por lotes le permite enviar varias peticiones y generar respuestas de forma asíncrona. La inferencia por lotes le ayuda a procesar una gran cantidad de solicitudes de manera eficiente al enviar una sola solicitud y generar las respuestas en un bucket de Amazon S3. Una vez definidas las entradas del modelo en los archivos que cree, los archivos se cargan a un bucket de S3. A continuación, envía una solicitud de inferencia por lotes y especifica el bucket de S3. Una vez finalizado el trabajo, podrá recuperar los archivos de salida de S3. Puede utilizar la inferencia por lotes para mejorar el rendimiento de la inferencia de modelos en conjuntos de datos de gran tamaño.
nota
Los modelos aprovisionados no admiten la inferencia por lotes.
Consulte los siguientes recursos para obtener información general sobre la inferencia por lotes:
-
Para ver los precios de la inferencia por lotes, consulte Amazon Bedrock pricing
. -
Para ver las cuotas de la inferencia por lotes, consulte Amazon Bedrock endpoints and quotas en la Referencia general de AWS.
Temas
- Regiones y modelos compatibles con la inferencia por lotes
- Requisitos previos para la inferencia por lotes
- Creación de un trabajo de inferencia por lotes
- Supervisión de los trabajos de inferencia por lotes
- Detención de un trabajo de inferencia por lotes
- Visualización de los resultados de un trabajo de inferencia por lotes
- Ejemplos de código para la inferencia por lotes
