Imposta una risorsa di invocazione del modello utilizzando i profili di inferenza

Tieni traccia delle metriche di utilizzo: configura CloudWatch i log e invia le richieste di invocazione del modello con un profilo di inferenza dell'applicazione per raccogliere i parametri di utilizzo per la chiamata del modello. È possibile esaminare queste metriche quando si visualizzano informazioni sul profilo di inferenza e utilizzarle per prendere decisioni informate. Per ulteriori informazioni su come configurare i CloudWatch log, consulta. Monitora l'invocazione del modello utilizzando Logs CloudWatch

Usa i tag per monitorare i costi: collega i tag a un profilo di inferenza dell'applicazione per tenere traccia dei costi quando invii richieste di invocazione del modello su richiesta. Per ulteriori informazioni su come utilizzare i tag per l'allocazione dei costi, consulta Organizzazione e monitoraggio dei costi utilizzando i tag di allocazione dei costi nella AWS guida per l'utente. AWS Billing

Inferenza tra regioni: aumenta la velocità effettiva utilizzando un profilo di inferenza che ne include più. Regioni AWS Il profilo di inferenza distribuirà le richieste di invocazione del modello in queste aree per aumentare la velocità effettiva e le prestazioni. Per ulteriori informazioni sull'inferenza tra regioni, vedere. Aumenta la produttività con l'inferenza tra regioni

Profili di inferenza interregionali (definiti dal sistema): profili di inferenza predefiniti in Amazon Bedrock che includono più regioni a cui è possibile indirizzare le richieste di un modello.

Profili di inferenza delle applicazioni: profili di inferenza creati da un utente per tenere traccia dei costi e dell'utilizzo del modello. È possibile creare un profilo di inferenza che indirizza le richieste di invocazione del modello a una o più regioni:

Inferenza del modello: usa un profilo di inferenza quando esegui l'invocazione del modello scegliendo un profilo di inferenza in un playground nella console Amazon Bedrock o specificando il profilo ARN di inferenza quando chiami,, Converse e le operazioni. InvokeModelInvokeModelWithResponseStreamConverseStream Per ulteriori informazioni, consulta Invia richieste e genera risposte con l'inferenza del modello.

Incorporamento di vettori nella knowledge base e generazione di risposte: utilizza un profilo di inferenza quando generi una risposta dopo aver interrogato una knowledge base o quando analizzi informazioni non testuali in una fonte di dati. Per ulteriori informazioni, consulta Metti alla prova la tua base di conoscenze con domande e risposte e Opzioni di analisi per la tua fonte di dati.

Valutazione del modello: è possibile inviare un profilo di inferenza come modello da valutare quando si invia un lavoro di valutazione del modello. Per ulteriori informazioni, consulta Valuta le prestazioni delle risorse Amazon Bedrock.

Gestione dei prompt: è possibile utilizzare un profilo di inferenza per generare una risposta a un prompt creato in Prompt management. Per ulteriori informazioni, consulta Crea e archivia richieste riutilizzabili con la gestione tempestiva in Amazon Bedrock

Flussi: è possibile utilizzare un profilo di inferenza quando si genera una risposta per un prompt definito in linea in un nodo di prompt in un flusso. Per ulteriori informazioni, consulta Crea un flusso di lavoro AI end-to-end generativo con Amazon Bedrock Flows.