Configurare una risorsa di invocazione del modello utilizzando i profili di inferenza

Tieni traccia delle metriche di utilizzo: configura CloudWatch i log e invia le richieste di richiamo del modello con un profilo di inferenza dell'applicazione per raccogliere le metriche di utilizzo per l'invocazione del modello. Questi parametri possono essere esaminati quando si visualizzano le informazioni sul profilo di inferenza e utilizzati per prendere decisioni informate. Per ulteriori informazioni su come impostare i log, vedere. CloudWatch Monitora l'invocazione del modello utilizzando CloudWatch Logs e Amazon S3

Utilizzo dei tag per monitorare i costi: collega i tag a un profilo di inferenza dell’applicazione per tenere traccia dei costi quando si inviano richieste di invocazione del modello on demand. Per ulteriori informazioni su come utilizzare i tag per l'allocazione dei costi, vedi Organizzazione e monitoraggio dei costi utilizzando i tag di allocazione dei AWS costi nella guida per l' AWS Billing utente.

Cross-Region inferenza: utilizza un profilo di inferenza che ne includa più. Regioni AWS Il profilo di inferenza distribuisce le richieste di richiamo del modello in queste regioni. Per ulteriori informazioni sull’inferenza tra Regioni, consulta Indirizza le richieste di inferenza del modello Regioni AWS con inferenza interregionale.

Profili di inferenza tra Regioni (definiti dal sistema): profili di inferenza predefiniti in Amazon Bedrock che includono più Regioni a cui è possibile instradare le richieste di un modello.

Profili di inferenza dell’applicazione: profili di inferenza che un utente crea per tenere traccia dei costi e dell’utilizzo del modello. È possibile creare un profilo di inferenza che instradi le richieste di invocazione del modello a una o più Regioni:

Inferenza del modello: utilizza un profilo di inferenza quando esegui l'invocazione del modello scegliendo un profilo di inferenza in un playground nella console Amazon Bedrock o specificando l'ARN del profilo di inferenza quando chiami,, Converse e operations. InvokeModel InvokeModelWithResponseStream https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html ConverseStream Per ulteriori informazioni, consulta Effettuare richieste di inferenza.

Embedding vettoriale della knowledge base e generazione di risposte: usa un profilo di inferenza quando si genera una risposta dopo aver eseguito una query su una knowledge base o durante l’analisi di informazioni non testuali in un’origine dati. Per ulteriori informazioni, consultare Test della knowledge base con query e risposte e Opzioni di analisi per l’origine dati.

Valutazione del modello: è possibile inviare un profilo di inferenza come modello da valutare quando si invia un processo di valutazione del modello. Per ulteriori informazioni, consulta Valutare le prestazioni delle risorse Amazon Bedrock.

Gestione dei prompt: è possibile utilizzare un profilo di inferenza per generare una risposta a un prompt creato in Gestione prompt. Per ulteriori informazioni, consulta Creare e archiviare prompt riutilizzabili con Gestione dei prompt in Amazon Bedrock

Flussi: è possibile utilizzare un profilo di inferenza quando si genera una risposta per un prompt definito in linea in un nodo prompt in un flusso. Per ulteriori informazioni, consulta Creare un flusso di lavoro di IA generativa end-to-end con Amazon Bedrock Flows.