Optimización de la inferencia del modelo para la latencia

Latency-optimized La inferencia para los modelos básicos Amazon Bedrock ofrece tiempos de respuesta más rápidos y una mejor capacidad de respuesta para las aplicaciones de inteligencia artificial. Las versiones optimizadas de Amazon Nova Pro, el modelo Haiku Claude 3.5 de Anthropic y los modelos Llama 3.1 405B y 70B de Meta ofrecen una latencia significativamente reducida sin comprometer la precisión.

El acceso a la capacidad de optimización de la latencia no requiere una configuración adicional ni el refinamiento del modelo, lo que permite mejorar inmediatamente las aplicaciones existentes con tiempos de respuesta más rápidos. Puede establecer el parámetro “Latency” en “optimized” al llamar a la API en tiempo de ejecución de Amazon Bedrock. Si selecciona “standard” como opción de invocación, sus solicitudes se atenderán con una inferencia estándar. De forma predeterminada, todas las solicitudes se envían a través de la opción “standard”.

"performanceConfig" : {
    "latency" : "standard | optimized" 
}

Cuando alcance la cuota de uso para la optimización de la latencia de un modelo, intentaremos atender la solicitud con una latencia estándar. En esos casos, la solicitud se cobrará según las tarifas de latencia estándar. La configuración de latencia de una solicitud atendida está visible en la respuesta y AWS CloudTrail los registros de la API. También puedes ver las métricas de las solicitudes con latencia optimizada en los Amazon CloudWatch registros, en la sección «model-id+latency-optimized».

La inferencia optimizada para la latencia está disponible para Llama 3.1 70B y 405B de Meta, así como para el haiku Claude 3.5 de Anthropic en las regiones Este (Ohio) y Oeste de los Estados Unidos (Oregón), mediante inferencias interregionales. bedrock/latest/userguide/cross-region-inference.html

La inferencia optimizada para la latencia está disponible Amazon Nova Pro en las regiones EE.UU. Este (Norte de Virginia), EE.UU. Este (Ohio) y EE.UU. Oeste (Oregón) mediante inferencias interregionales. bedrock/latest/userguide/cross-region-inference.html

Para obtener más información sobre los precios, consulte la página de precios.

En la siguiente tabla se muestran los perfiles de inferencia que permiten la optimización de la latencia:

Para obtener más información sobre los perfiles de inferencia, consulte Regiones y modelos compatibles con los perfiles de inferencia.