Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Procese múltiples solicitudes con inferencia por lotes
Con la inferencia por lotes, puede enviar varias solicitudes y generar respuestas de forma asíncrona. La inferencia por lotes le ayuda a procesar un gran número de solicitudes de manera eficiente al enviar una sola solicitud y generar las respuestas en un bucket de Amazon S3. Tras definir las entradas del modelo en los archivos que cree, debe cargar los archivos en un bucket de S3. A continuación, envía una solicitud de inferencia por lotes y especifica el depósito de S3. Una vez finalizado el trabajo, puede recuperar los archivos de salida de S3. Puede utilizar la inferencia por lotes para mejorar el rendimiento de la inferencia de modelos en conjuntos de datos de gran tamaño.
nota
La inferencia por lotes no se admite en los modelos aprovisionados.
Consulte los siguientes recursos para obtener información general sobre la inferencia por lotes:
-
Para ver los precios de la inferencia de lotes, consulta los precios de Amazon Bedrock
. -
Para ver las cuotas para la inferencia de lotes, consulte los puntos de enlace y las cuotas de Amazon Bedrock en. Referencia general de AWS
Temas
- Regiones y modelos compatibles para la inferencia por lotes
- Requisitos previos para la inferencia por lotes
- Creación de un trabajo de inferencia por lotes
- Supervise los trabajos de inferencia por lotes
- Detención de un trabajo de inferencia por lotes
- Ver los resultados de un trabajo de inferencia por lotes
- Ejemplos de código para la inferencia por lotes
