Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Aumenta la produttività con l'inferenza tra regioni
Quando si esegue l'inferenza del modello in modalità on demand, le richieste potrebbero essere limitate dalle quote di servizio o durante i periodi di picco di utilizzo. L'inferenza tra regioni consente di gestire senza problemi i picchi di traffico non pianificati utilizzando l'elaborazione tra diverse regioni. Regioni AWS Con l'inferenza interregionale, puoi distribuire il traffico su più regioni, garantendo un throughput più elevato. Regioni AWS
Per utilizzare l'inferenza tra regioni, è necessario includere un profilo di inferenza quando si esegue l'inferenza del modello nei seguenti modi:
-
Inferenza del modello su richiesta: specifica l'ID del profilo di inferenza da utilizzare
modelIdquando si invia una,, Converse o una InvokeModelrichiesta. InvokeModelWithResponseStreamConverseStream Un profilo di inferenza definisce una o più regioni verso le quali può indirizzare le richieste di inferenza provenienti dalla regione di origine. L'uso dell'inferenza interregionale aumenta la velocità effettiva e le prestazioni instradando dinamicamente le richieste di invocazione del modello tra le regioni definite nel profilo di inferenza. Fattori di routing nel traffico degli utenti, nella domanda e nell'utilizzo delle risorse. Per ulteriori informazioni, consulta Invia richieste e genera risposte con l'inferenza del modello -
Inferenza in batch: invia le richieste in modo asincrono con inferenza batch specificando l'ID del profilo di inferenza come quando si invia una richiesta.
modelIdCreateModelInvocationJob L'utilizzo di un profilo di inferenza consente di utilizzare il calcolo su più livelli e di ottenere tempi di elaborazione più rapidi per i processi in batch Regioni AWS . Una volta completato il processo, puoi recuperare i file di output dal bucket Amazon S3 nella regione di origine. -
Generazione di risposte nella Knowledge Base: puoi utilizzare l'inferenza interregionale per generare una risposta dopo aver interrogato una knowledge base o quando analizzi informazioni non testuali in una fonte di dati. Per ulteriori informazioni, consulta Metti alla prova la tua base di conoscenze con domande e risposte e Opzioni di analisi per la tua fonte di dati.
-
Valutazione del modello: è possibile inviare un profilo di inferenza come modello da valutare quando si invia un lavoro di valutazione del modello. Per ulteriori informazioni, consulta Valuta le prestazioni delle risorse Amazon Bedrock.
-
Gestione dei prompt: è possibile utilizzare l'inferenza interregionale per generare una risposta a un prompt creato in Prompt management. Per ulteriori informazioni, consulta Crea e archivia richieste riutilizzabili con la gestione tempestiva in Amazon Bedrock
-
Flussi di prompt: è possibile utilizzare l'inferenza interregionale per generare una risposta a un prompt definito in linea in un nodo di prompt in un flusso di prompt. Per ulteriori informazioni, consulta Crea un flusso di lavoro AI end-to-end generativo con Amazon Bedrock Flows.
Per visualizzare le regioni e i modelli con cui è possibile utilizzare i profili di inferenza per eseguire l'inferenza tra regioni, fare riferimento a. Regioni e modelli supportati per i profili di inferenza
È inoltre possibile aumentare la velocità effettiva di un modello acquistando Provisioned Throughput. I profili di inferenza attualmente non supportano Provisioned Throughput.
Per informazioni su come utilizzare un profilo di inferenza per inviare richieste di invocazione del modello tra le regioni, consulta. Usa un profilo di inferenza nell'invocazione del modello
Nota le seguenti informazioni sull'inferenza tra regioni:
-
Non sono previsti costi di routing aggiuntivi per l'utilizzo dell'inferenza tra regioni. Il prezzo viene calcolato in base alla regione da cui si richiama un profilo di inferenza. Per informazioni sui prezzi, consulta i prezzi di Amazon Bedrock
. -
Quando si utilizza l'inferenza tra regioni, la velocità effettiva può raggiungere fino al doppio delle quote predefinite nella regione in cui si trova il profilo di inferenza. L'aumento della velocità effettiva si applica solo alle chiamate eseguite tramite profili di inferenza, la quota normale si applica comunque se si opta per la richiesta di invocazione del modello locale. Ad esempio, se si invocano gli Stati Uniti Anthropic Claude 3 Sonnet profilo di inferenza in us-east-1, il tuo throughput può raggiungere fino a 1.000 richieste al minuto e 2.000.000 di token al minuto. Per visualizzare le quote predefinite per la velocità effettiva su richiesta, consulta la sezione Runtime quote nella console Service Quotas Quote per Amazon Bedrock o utilizza la console Service Quotas.
-
Le richieste di inferenza tra regioni vengono conservate all'interno delle regioni che fanno parte del profilo di inferenza utilizzato. Ad esempio, una richiesta effettuata con un profilo di inferenza dell'UE viene conservata all'interno delle regioni dell'UE.
Per ulteriori informazioni sull'inferenza tra regioni, consulta Guida introduttiva all'inferenza interregionale in Amazon Bedrock
