Ottimizzare l’inferenza del modello per la latenza

Latency-optimized l'inferenza per i modelli di base Amazon Bedrock offre tempi di risposta più rapidi e una migliore reattività per le applicazioni AI. Le versioni ottimizzate di Amazon Nova Pro, del modello Claude 3.5 Haiku di Anthropic e dei modelli Llama 3.1 405B e 70B di Meta offrono una latenza ridotta in modo significativo senza compromettere la precisione.

L’accesso alla funzionalità di ottimizzazione della latenza non richiede alcuna configurazione aggiuntiva né alcun fine-tuning del modello e consente il miglioramento immediato delle applicazioni esistenti con tempi di risposta più rapidi. È possibile impostare il parametro “latency” su “optimized” quando si chiama l’API di runtime di Amazon Bedrock. Se si seleziona “standard” come opzione di invocazione, le richieste vengono gestite con inferenza standard. Per impostazione predefinita, il routing delle richieste viene eseguito in modalità “standard”.

"performanceConfig" : {
    "latency" : "standard | optimized" 
}

Una volta raggiunta la quota di utilizzo per l’ottimizzazione della latenza per un modello, tenteremo di soddisfare la richiesta con latenza standard. In questi casi, la richiesta verrà addebitata in base alle tariffe della latenza standard. La configurazione della latenza per una richiesta servita è visibile nella risposta e nei log delle API. AWS CloudTrail Puoi anche visualizzare le metriche per le richieste con latenza ottimizzata nei Amazon CloudWatch log in «model-id+latency-optimized».

L'inferenza ottimizzata per la latenza è disponibile per Llama 3.1 70B e 405B di Meta, nonché per Claude 3.5 Haiku di Anthropic nelle regioni degli Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon) tramite l'inferenza interregionale. bedrock/latest/userguide/cross-region-inference.html

L'inferenza ottimizzata per la latenza è disponibile Amazon Nova Pro nelle regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon) tramite l'inferenza interregionale. bedrock/latest/userguide/cross-region-inference.html

Per ulteriori informazioni sui prezzi, consulta la pagina sui prezzi.

La tabella seguente mostra i profili di inferenza che supportano l'ottimizzazione della latenza:

Per ulteriori informazioni sui profili di inferenza, vedere. Regioni e modelli supportati per i profili di inferenza